Jeff Dean, AI'nin Sonraki Aşamasında: TPU'dan Kendini Geliştiren Ajanlara

2026 YC Startup School'da Jeff Dean'in sesi biraz kısıkydı.

Röportaj başladığında, sesini kaybettiğini açıkladı ve bugün sesi normalden farklıydı. Ancak bu, izleyicilerin dikkatini etkilemedi. Karşısında oturan YC ortağı Diana Hu, bilgisayar tarihine geçecek bir dizi isim sıraladı: MapReduce, BigTable, TensorFlow, TPU, Gemini.

Herhangi bir proje, bir mühendisin kariyerinin temsil edici eseri olmak için yeterlidir. Ancak bunlar Jeff Dean ve etrafındaki Google mühendislerinin özgeçmişlerinde bir araya gelmiştir.

Diana, röportajı bir başarı gözden geçirme olarak değil, başka bir soruya odaklandı: Üretken AI'nın yazılım endüstrisini sarmış olmasının ardından, sistemleri temelden yeniden yapılandırmada en yetenekli olan Jeff Dean, bugün neye bakıyor?

Cevap daha büyük modeller değil.

Yaklaşık bir saatlik bu diyalogda, Jeff Dean, çıkarım donanımı, enerji, veri taşıma, bağlam mühendisliği, uzun süre çalışan Agent'lar, otomatikleştirilmiş deney sistemleri ve startup'ların genel modellerin doğrudan baskısından nasıl kaçınabileceğini tekrar tekrar ele aldı. Görünüşte dağılmış gibi gelen bu konuşmaların arkasında çok net bir ana çizgi var: AI'nın bir sonraki aşaması, modelleri daha akıllı hale getirmekten ziyade, modelleri uzun süreli çalışabilen, sürekli deneme-yanılma yapan, otomatik olarak doğrulayan ve yeteneklerini sürekli biriktiren bir sisteme entegre etmektir.

Bu, AI yarışının "kimin daha büyük modeli var" yerine "kim daha iyi akıl organize edebiliyor" yönüne doğru kaydığını anlamına gelir.

Mayıs 2025'te Jeff Dean, AI'nin bir başlangıç seviyesi mühendisine yaklaşmış olduğunu belirten geniş çaplı bir tartışma yaratan bir değerlendirme yaptı.

Bir yıl sonra, Diana bu tahminin nasıl gerçekleştiğini sordu.

Jeff Dean'in yanıtı oldukça doğrudur. Bu yargıya "oldukça doğru" olduğunu düşünmektedir. Modelin ajanlaşma, uzun süreçli kodlama ve karmaşık görevlerdeki ilerlemesi, o zamanlar tahmin ettiğinden daha hızlı olmuştur.

“Modelin giderek daha karmaşık görevleri yerine getirme yeteneği, beklentimden daha hızlı büyüyor.” dedi.

Daha da önemlisi, bu yetenek artık kod yazmaya sınırlı değil. Artık daha fazla Agent sistemi bilim, mühendislik ve diğer profesyonel alanlara girmeye başlıyor. Sadece sorulara cevap vermekle kalmıyorlar, görevleri parçalıyor, araçları kullanıyor, deneyler yürütüyor, sonuçları okuyor ve geri bildirimlere göre harekete geçiyorlar.

Yapay zekâyı başlangıç seviyesi bir mühendis olarak karşılaştırmak, dikkatin insan gücü yerine geçme üzerine odaklanmasına neden olabilir. Ancak Jeff Dean, başka bir değişimin üzerinde duruyor: Bir «başlangıç seviyesi mühendis»in onlarca, yüzlerce kopyası oluşturulup, paralel olarak günlerce hatta haftalarca çalıştırıldığında, organizasyonel üretim nasıl değişir?

Geleneksel takımlarda, başlangıç mühendisleri işe alışmalı, araçları anlamalı ve sürekli geri bildirim almalıdır. Agent de aynı şekilde. Ancak onun eğitim materyalleri yalnızca belgelerden ibaret değil, uyarılar, araç açıklamaları, beceri dosyaları, test sistemleri, değerlendiriciler ve tüm bağlam ortamıdır.

Bu, AI mühendisliğinde yeni bir iş bölümü yaratıyor.

Geçmişte mühendisler çoğunlukla kod yazmakla görevliydi. Gelecekte, daha fazla mühendis, sorunları tanımlamak, ortamları kurmak, standartlar yazmak, geri bildirim döngüleri tasarlamak ve görevleri tamamlamak için bir dizi Agent’i koordine etmekle görevli olacak.

Jeff Dean, 2027 için tahminleri tam olarak bunu içeriyor. Makine öğrenimi sistemlerinin, makine öğrenimi sistemlerini kendileri geliştirmeye giderek daha fazla dahil olacağını düşünüyor. Hedefleri alt sorunlara ayırıp, büyük ölçekli deneyleri otomatik olarak çalıştıracak, sonuçları karşılaştırıp, etkili çözümleri birleştirerek daha güçlü yeni sistemler oluşturacak.

Bir alanda ölçülebilir bir hedef varsa, büyük ilerleme şansı vardır.

Bu cümle, tüm röportajın anahtarıdır.

En ilk olarak otomasyona uğrayan yapay zeka alanı, en çok bilgiye sahip olan alan değil, en net geri bildirim veren alandır. Kod testlerini geçebiliyor mu, çip yerleşimi alanını azaltabilir mi, model yapısı doğruluğu artırabilir mi, malzeme özellikleri gereksinimleri karşılayabiliyor mu? Bu soruların nispeten net değerlendirme kriterleri vardır. Değerlendirici yeterince güvenilirse, makine çok yüksek frekansla tekrarlı denemeler yapabilir.

Bu nedenle, AI çağındaki gerçekten önemli birim, bir cevap değil, bir tam döngü olabilir: bir çözüm önermek, çözümü uygulamak, sonuçları ölçmek ve yönü düzeltmek.

Jeff Dean'in birçok temsili çalışması, çok basit bir başlangıçtan gelir: önce büyüklük sırasını hesaplayın.

2001 yılında, Google araması hâlâ büyük ölçüde sabit disklere dayanıyordu. Sabit diskler büyük kapasiteliydi ancak erişim hızları yavaştı. Jeff Dean ve Sanjay Ghemawat, Google'ın o dönemdeki tam arama dizinini tüm sunucuların belleğine sığdırabileceğini hesapladı.

Bugün duyulduğunda, bu sadece bir depolama ortamı yükseltmesi gibi görünüyor. Ancak o dönemde, tamamen farklı bir sistem tasarımı anlamına geliyordu.

İndeks ana olarak diskte kalırsa, sorgular mekanik arama için beklemek zorunda kalır. İndeksi belleğe alırsanız, erişim gecikmesi aniden düşer. İki kişi hızlıca yeni bir sürüm yazdı ve birkaç gün içinde bunu üretim ortamına aldı. Google araması böylece açıkça daha hızlı hale geldi.

Bu hikâye en kolay şekilde bir uzmanlık anı olarak sunulabilir. Ancak Jeff Dean’ın anlatımı, bir mühendisin bir gerçekliği ifade etmesine daha çok benzer: Sistem koşulları değişti, artık geçerli olmayan bir çözüm aniden geçerli hale geldi, o zaman yeniden hesaplamak gerekir.

Çok sayıda endüstri yeniliği bu tür anlarda gerçekleşir.

Bir eski sorun uzun süredir var oluyor ve insanlar bunun etrafında düzeltmeler yapmaya alışmışlar. Sonra donanım fiyatı, bellek kapasitesi, ağ bant genişliği veya model kapasitesi belirli bir kritik noktayı aşıyor ve eski kısıtlamalar ortadan kalkıyor. Ancak çoğu kişi hala eski mimariyi kullanıyor, çünkü eski mimari artık bir gerçeklik haline gelmiş.

Jeff Dean, yaygın bilgiyi tekrar varsayıma dönüştürmekte uzmandır.

Neden böyle olmalı? Bugünki ölçek, dünki ölçek mi? En pahalı adımı değiştirmek, sistemin tamamen farklı bir forma girmesine neden olur mu?

Bu, girişimcilere verdiği bir öneridir. Mevcut çözümlerin nerede yetersiz kaldığına bakmak yerine, sorunu birinci ilkelerden yeniden görün. Performansı bir sıralık artırabilir misiniz? Maliyeti iki sıralık düşürebilir misiniz? Endüstrinin varsayılan uygulama yolunu bırakabilir misiniz?

Bazen bir soruna sadece hafifçe bakmanız yeterli; bugünün çözümüne bağlı kalmadan, temel ilkelerden hareketle nasıl çözülmesi gerektiğini düşünün.

Bu cümle gizemli görünmüyor. Gerçek zorluk, çoğu kişinin bir sektörde yer aldıkten sonra o sektörün tüm varsayılan cevaplarını hızla öğrenmesidir. Deneyim, verimliliği artırır ama yeniden soru sorma yeteneğini kaybetmeye de neden olur.

2013'te Google'nin derin öğrenme ses tanıma sistemi, eski sistemleri önemli ölçüde geçti. Hata oranı yarıya indi ve bu, geçmiş yirmi yılın ses tanıma ilerlemesinin birkaç ay içinde yoğunlaşmış olması anlamına geliyordu.

Ürün ekibi elbette heyecanlıydı. Ancak Jeff Dean önce bir hesap yaptı.

Eğer ses tanıma gerçekten daha iyi hale gelirse, kullanıcılar daha fazla kullanmaya istekli hale gelecektir. Her Google kullanıcısının günlük sadece üç dakika ses tanıma kullandığını varsayarsak, Google bunu desteklemek için kaç sunucuya ihtiyaç duyar?

Sonuçlar olumlu değil. O dönemdeki CPU verimliliğine göre, Google sunucu boyutunu iki katına çıkarmak zorunda kalabilirdi.

Bu, TPU'nun başlangıcıdır.

Bu, araştırma ekibinin aniden çip üretmek istemesi değil, Google'ın donanım yapma yeteneğini kanıtlamak için değil, başarılı bir modelin taşıyamayacağı bir hizmet maliyeti yaratmak üzere hazırlanması nedeniyledir.

Bu geçmiş, AI ürünlerinde sıklıkla gözden kaçırılan bir kuralı ortaya koyar: model performansının artması, her zaman maliyetleri düşürmez. Tam tersine, performans ne kadar iyi olursa, kullanım miktarı o kadar artar ve sistem yükü o kadar ağırlaşır.

Sesli tanıma iyi çalışmazken kullanıcılar nadiren çağırır. Sistem maliyeti sorun değil. Hata oranı büyük ölçüde düştüğünde, talep aniden serbest kalır ve arka planda gizli kalan hesaplama kısıtlamaları yüzeye çıkar.

TPU, makine öğreniminin en temel hesaplama modelleri için özel donanım tasarlanmıştır. Tarayıcı çalıştırmaya veya tüm genel programları işlemeye gerek duymaz. Ana olarak düşük hassasiyetli, yoğun lineer cebir işlemlerinde üstündür. Bu tür hesaplamalar, modern makine öğreniminin merkezinde yer alır.

İlk nesil TPU, miktarsal olarak büyük kazanımlar getirdi. Jeff Dean'e göre, o dönemdeki CPU ve GPU'lara göre 30 ila 80 kat daha verimliydi ve gecikme oranı 20 ila 30 kat daha düşüktü.

Burada dikkat edilmesi kolayca kaçırılan bir tasarım ölçeği daha var.

TPU oldukça özeldir, ancak sadece bir tür sabit model çalıştırmak için özelleştirilmemiştir. Takım, makine öğrenimi algoritmalarının hızla değişeceğinin farkındadır ve çipi daha genel bir doğrusal cebir sistemi olarak tasarlamıştır. Chrome veya Word çalıştırmak için olan kapasitesini feda etmiş olsa da, gelecekteki algoritma gelişimlerini desteklemek için yer ayırmıştır.

Bu, yakalaması zor bir denge. Yeterince özel kullanılmazsa, getiri belirgin olmaz. Çok fazla özel kullanılırsa, algoritma değiştiğinde donanım çabuk obsolesan hale gelir.

Jeff Dean, bugünün çıkarım donanımı hakkında yaptığı değerlendirme, TPU'nun o dönemdeki görüşüyle açıkça paralellik gösteriyor. O, bir sonraki önemli fırsatın hâlâ özelleştirmede olacağını, ancak odak noktasının daha da düşük gecikme ve düşük enerji tüketimli çıkarıma kayacağını düşünüyor.

Geçikmenin 50 kat iyileştirilebileceğini hayal edin, ne yaparsınız?

Modelin yanıtı onlarca saniye sürdiğinde, insanlar bunu ara sıra kullanılan bir araç olarak görür. Gecikme anlık hale yaklaşınca, etkileşimli arayüzler, robotlar, gerçek zamanlı video, işletim sistemleri ve sürekli karar verme süreçlerine gerçekten dahil olabilir.

Beklemek küçük bir deneyim sorunu değildir. Beklemek ürünün şeklini değiştirebilir.

2026 yılında bir yapay zeka mühendisi için "Her Mühendisin Bilmesi Gereken Gecikme Sayıları"nı güncellemek isteseydiniz, Jeff Dean, odak noktasının disk arama, önbellek kaçırmaları ve kıtalar arası ağ gecikmelerinden çip içindeki veri akışlarına doğru kaydırılması gerektiğini düşünüyor.

Mühendislerin bilmesi gerekenler: Ana bellekten çip üzerindeki belleğe bant genişliği ne kadar, çip üzerindeki bellekten çarpma birimine bant genişliği ne kadar, bir çarpma işlemi ne kadar enerji gerektirir, çipler arasında nasıl bağlantı kurulur ve 500 çipten 10.000 çipe genişletildiğinde ağ verimliliği nasıl düşer.

Bu rakamlar ürünle uzak gibi görünse de, hangi ürünün hayata geçeceğini belirliyor.

Jeff Dean, bir matematik çarpma işlemini tamamlamak için yaklaşık bir pikojoule enerji gerektirdiğini belirtti. Verileri yüksek bant genişlikli bellekten hesaplama birimine taşımak, enerji maliyetini yaklaşık 1000 kat artırabilir.

Yani, bugün AI sistemlerindeki pahalı işlemler genellikle “hesaplamak” değil, “hesaplanacak şeyleri getirmek”tir.

Bu, neden işlem toplu işleme kadar önemli olduğunu açıklıyor.

Bir dizi model ağırlığı bellekten hesaplama birimine taşındıktan sonra yalnızca bir token işlenirse, veri taşıma maliyeti tamamen bu tek token üzerine düşer. Daha büyük bir topluluk aynı anda işlenirse, aynı ağırlıklar daha fazla hesaplama için kullanılabilir ve enerji ile bant genişliği maliyetleri dağıtılmış olur.

Ancak toplu işleme ve düşük gecikme zamanı doğası gereği çelişir. Bir grup istek biriktirmek için sistem genellikle beklemek zorundadır. Verimlilik artar, ancak bireysel kullanıcıların yanıtları daha yavaş olabilir.

Bu nedenle, görünüşte model katmanına ait gibi görünen birçok sorun, aslında donanım ve sistem sorunlarıdır. Neden eğitim büyük toplu işlemlerle yapılır, neden çıkarım için KV Önbelleği gerekir, neden model düşük hassasiyeti hedefler, neden sistem kantizasyona ihtiyaç duyar—hepsi veri taşıma ve enerji kısıtlamalarıyla ilgilidir.

Jeff Dean, son zamanlarda çıkarıma daha çok odaklanıyor, çünkü çıkarım gecikmeye son derece duyarlı. Eğitim görevleri biraz daha yavaş çalışsa bile, sadece deneyin daha geç bitmesiyle sonuçlanır. Çıkarım görevlerinde her saniyelik gecikme, kullanıcı deneyimini ve Agent'in verimliliğini doğrudan etkiler.

Bir Agent, modeli 1000 kez ardışık olarak çağırmak zorunda kalırsa, tek seferlik gecikmenin %50 azalması, tüm görevin tamamlanma süresinde büyük bir fark yaratabilir. Daha fazlası, gelecekte Agent'ların günlerce veya haftalarca çalışması gerekecek.

Bu nedenle, AI'nın “enerji sorunu” uzak bir çevre meselesi değildir. Bu, modellerin daha fazla kişiye ucuzca hizmet verebilmesini, Agent'ların sürekli çalışabilmesini ve startup şirketlerinin brüt kar marjının sağlıklı olup olmadığını doğrudan etkiler.

Geçtiğimiz yıllarda AI endüstrisi, ilerlemeyi parametre sayısı, eğitim verisi ve referans puanları ile ölçmeye alışkındı. 2026'da Jeff Dean, modele çevresindeki tüm unsurlara daha fazla vurgu yapıyor.

Gerçekten kullanışlı bir AI sistemi, modelin yanı sıra arama, araçlar, bellek, geçmiş bilgiler, yürütme ortamı ve geri bildirim mekanizmalarına da ihtiyaç duyar. Model, hangi araçların olduğunu bilir, araçları ne zaman çağıracağını bilir, karmaşık sorunları bir dizi eyleme nasıl böleceğini bilir ve birden fazla çözümü karşılaştırarak hangisinin daha başarılı olma olasılığı olduğunu belirleyebilmelidir.

İşte neden «bağlam mühendisliği» sahneye çıkmaya başlıyor.

Jeff Dean, modelin eğitim aşamasında gördüğü bilgilerin sonunda yüz milyarlarca ve hatta trilyonlarca parametreye "karıştırıldığını" söylüyor. Bunlar bir çorba gibi, bilgi orada, ancak kesin değil. Şu anki bağlama dahil edilen bilgiler, model için daha doğrudan ve daha doğru bir şekilde kullanılabilir.

Bu, küçük takımlar için önemli bir fırsat bırakıyor.

Temel modeli eğitmek için büyük miktarda sermaye, veri ve hesaplama gücü gerekir. Ancak bağlam mühendisliği bir API ile başlayabilir. Girişimciler, belirli bir iş için alan bilgilerini, araç süreçlerini, müşteri verilerini ve değerlendirme kriterlerini bir araya getirerek, genel modelleri dar bir senaryoda daha güvenilir hale getirebilir.

Jeff Dean, kendi bir örneğini sundu.

O, Sanjay Ghemawat ile birlikte Google'nın iç temel kütüphanelerini sık sık optimize eder. Bu veri yapıları milyonlarca işlemde çalışabilir ve Nokta Nokta Performans farkları ölçekle büyür. Geleneksel yöntem, mühendislerin önce mikro testler yazması, mevcut performansı ölçmesi, ardından kodu değiştirmesi, testleri yeniden çalıştırması, önbellek kullanımını ve performans değişimlerini gözlemlemesi ve bu döngüyü sürdürmesidir.

İki kişi bu çalışma yöntemini bir Agent becerisi olarak yazdı. Model, referansları çalıştırmayı, kodu değiştirmeyi, sonuçları karşılaştırmayı ve ölçümlere göre iyileştirmeyi öğrendi.

Sadece insanların kullanacağı yöntemi, modelin kullanabileceği bir forma getirdik.

Bu cümle, bağlam mühendisliğinin basit bir tanımı olarak kabul edilebilir.

Bu, gizemli ipuçları teknikleri değil, daha fazla arka plan materyali eklemek değil. Üç soruya cevap vermek: Uzmanlar ne adımları izler, sistemde hangi güvenilir araçlar vardır ve sonuç nasıl doğrulanır?

Bu içerikler yapılandırıldığında, model daha fazla bilgi değil, tekrarlanabilir bir yöntem seti elde eder.

Bu, neden “beceri (skill)”’nin Agent ekosisteminde kritik bir varlık haline geldiğidir. İyi bir beceri dosyası, bir ekibin yıllarca birikmiş gizli deneyimlerini kapsüller. Modelin belirli bir sorunla karşılaştığında önce ne yapacağını, hangi hataların en yaygın olduğunu, hangi araçların güvenilir olduğunu ve hangi sonucun tamamlandığı kabul edileceğini söyler.

Geleceğin şirketlerinin farklılaştırılması, sadece model ağırlıklarında değil, iş akışlarına kodlanmış deneyimlerde de olabilir.

Gerçekten Agent olan tüm ekipler, aynı senaryoyu görmüşlerdir.

İlk adımlar çok iyi gidiyor. Model ihtiyaçları okuyabiliyor, araçları çağırabiliyor, kod yazabiliyor. 30. veya 50. adımda ise hedefi unutmaya başlıyor, durumu yanlış anlıyor, eylemleri tekrarlıyor ya da yanlış bir yönde ilerlemeye devam ediyor.

Jeff Dean, nedenlerden birini dağıtım dışı sorun olarak belirtti.

Model, eğitim sırasında birçok yaygın görevle karşılaştı. Görevler hala tanıdık olan "aydınlanan yol" üzerinde kalırsa, performans genellikle iyidir. Ancak sürekli işlemler modeli tanımadığı bir duruma götürürse, performans aniden düşer. Konfor bölgesinden ne kadar uzaklaşırsanız, hatalar o kadar kolay birikir.

Çözümlerden biri, modeli tanıdık yollarına sınırlamak için beceriler ve ipuçları sağlamaktır. Diğer bir yöntem ise çok ajan sistemlerini kullanmaktır.

Birden fazla Agent, farklı çözümleri deneyebilir ve başka bir model, hangi yönlerin daha umut verici olduğunu değerlendirebilir. Başarısız dallar atılır, başarılı dallar ilerletilir. Bu, temelde çıkarım aşamasında arama yapmaktır.

İnsan ekiplerinin çalışma yöntemine yabancı değildir. Karmaşık sorunlarla karşılaşıldığında, biri bir çözüm önerir, diğeri riskleri inceler, üçüncüsü deneyleri yürütür. Takım, ilk fikre tüm umutlarını bağlamaz, bunun yerine görev dağılımı ve geri bildirimle tek bir hata noktasını azaltır.

Agent ne kadar uzun süre çalışırsa, sistem tasarımı o kadar çok bir kez doğru olmaya bağımlı olmamalıdır.

Gerçekten güvenilir uzun menzilli bir Agent, kontrol noktaları, durum yönetimi, geri alma, dal arama, dış değerlendirme, izin kontrolü ve hata kurtarma gerektirir. Bu, uzun bir sohbet penceresinden ziyade bir dağıtık sistem gibidir.

Bu, Jeff Dean'in arka planının yeniden kritik hale geldiği noktadır.

MapReduce'in çözmeye çalıştığı temel sorunlardan biri, büyük sayıda güvenilmez makinenin güvenilir bir hesaplama yapmasını sağlamaktır. Günümüzdeki Agent sistemi benzer bir çelişkiyle karşı karşıya: tek bir model çağrısı mükemmel olmasa da, araçlar başarısız olabilir, ancak tüm görev mümkün olduğunca kararlı bir şekilde tamamlanmalıdır.

Geleceğin harika Agent platformu, birçok dağıtık sistem fikrini miras alabilir. Görevler bölünebilir, sonuçlar doğrulanabilir, hatalar yeniden denenebilir, durumlar geri yüklenebilir ve yerel hatalar tüm süreci yok etmemelidir.

Jeff Dean, bir agent'in birkaç gün hatta birkaç hafta boyunca çalışacağını söylediğinde, daha uzun bir sohbetten bahsetmiyor. Yeni bir hesaplama altyapısından bahsediyor.

Startup School bağlamında en çok ilgi gören soru tabii ki girişim fırsatıdır.

Google, çip, veri merkezi, model ve ürünleri ortak olarak tasarlayabilir. Gemini gibi genel modellerin yetenek sınırları hâlâ hızla genişliyor. İki veya üç kişilik bir ekip neden kazansın?

Jeff Dean'ın cevabı romantik değil.

Küçük ekipler için fırsatlar, genel modellerin yeterince odaklanmadığı özel alanlarda ortaya çıkar. Girişimciler, ürün arayüzünü, özel verileri, iş akışlarını ve alan uzmanlığını birleştirerek dar bir senaryoda daha yüksek doğruluk ve daha iyi bir deneyim sunabilir.

Ancak hemen bir uyarı verdi: genel modeller hızla güçleniyor. Bugün ayrı ayrı fonksiyonlar gibi görünen ürünler, altı veya on iki ay sonra temel model tarafından doğrudan kapsanabilir.

Bu nedenle girişimciler, avantajlarının kalıcı olup olmadığını değerlendirmelidir.

Jeff Dean, şu anda genel modellerin başarı oranı %0 veya %1 olan görevleri, %20 başarı oranına sahip olan görevlerin yerine aramayı öneriyor.

Model tamamen başarısız olursa, bu iyi bir işaret olabilir. Zaten bir kısmını yapabiliyorsa ve sadece iyi yapamıyorsa, bu mutlaka iyi bir işaret olmayabilir.

Neden basit: %20, yeteneklerin başlamaya başladığını gösterir. Daha fazla veri, daha büyük modeller ve daha uzun çıkarımlar, bunu hızla kullanıma hazır hale getirebilir. %0 veya %1 ise, görevin kritik verilere, özel araçlara, alan geri bildirimine veya genel bir modelin kısa sürede elde edemeyeceği bir yeteneğe ihtiyaç duyduğunu gösterir.

Bu, Jeff Dean'in "%1 kuralı" olarak adlandırılabilir.

Bu, girişimcilerin en zor sorunları seçmelerini önermez, bunun yerine genel modellerin yapısal gözlemlerden kaçındığı sorunları bulmayı önerir.

Bu boşluklar genellikle üç türdedir.

İlk kategori özel verilerdir. Genel modeller dünya bilgisini organize edebilir, ancak bir kullanıcının tüm profili, bir şirketin dahili süreçleri veya bir cihazın ürettiği gerçek zamanlı verilere erişemeyebilir. Bir girişim ürünü bu verilere sahip olduğunda, temel modele farklı bir bakış açısı kazandırır.

İkinci kategori profesyonel değerlendirme. Birçok endüstri, üretim kapasitesi eksikliği değil, güvenilir değerlendirme eksikliğiyle karşı karşıya. Tıp, malzeme, çip, imalat ve bilimsel araştırmalar, yüksek kaliteli doğrulayıcılara ihtiyaç duyar. "Ne doğru?" sorusunu tanımlayan, Ajanın sürekli olarak iyileştirilmesini sağlar.

Üçüncü kategori, dar ve derin modellerdir. AlphaFold, genel bir sohbet modeli değildir; protein yapısı sorunlarına yönelik yüksek düzeyde uzmanlaşmış bir yeteneğe sahiptir. Malzeme bilimi, çip tasarımı ve diğer uzmanlık alanlarında benzer fırsatlar ortaya çıkabilir.

Bu değerlendirme, girişimciler için kolay değildir. Takımın hem modelin kapasite sınırlarını hem de sektörün derinliklerindeki sorunları anlaması gerekir. Yalnızca AI bilgisi olanlar, hızlıca platformlar tarafından özleştirilecek fonksiyonlar oluşturabilir. Yalnızca sektör bilgisi olanlar ise model ilerlemesinin hızını alt değerlendirebilir.

Gerçek fırsat, ikisinin kesişme noktasındadır.

Diana, gelecekte her kurucunun aynı anda 50 veya 100 Agent yönetebileceğini ve tüm kodların Agent tarafından yazıldığını varsayıyor; hangi yetenekler kıtlaşır?

Jeff Dean'in yanıtı "tat"tır.

Daha doğru bir şekilde, Agent'in ne yapması gerektiğini belirlemektir.

O, araştırmaların büyük bir kısmının değerinin deneyleri ne kadar mükemmel gerçekleştirdiğinde değil, hangi sorunun araştırılmaya değer olduğunda olduğunu düşünüyor. Bir ekip, en ustaca yöntemlerle önemsiz bir araştırma yapabilir. Ancak kritik bir sorunu yakalayıp çözdüğünde, tüm alanı değiştirebilir.

Agent, yürütme maliyetini düşürdükten sonra, soru seçiminin önemi daha da artacaktır.

Geçmişte, geliştirme maliyeti çok yüksek olduğu için belirsiz bir fikir doğal olarak kaybolurdu. Gelecekte, yeterli sayıda Agent harekete geçirildiğinde, birçok fikir hızla prototipe dönüştürülebilir. Dünya bu sayede otomatik olarak daha fazla iyi ürün kazanmayacak, sadece daha fazla ürün kazanacak.

Spesifikasyonlar da daha önemli hale gelecek.

Jeff Dean, sanal ajantlarla çalışırken hedef ne kadar net olursa, başarı oranı o kadar yüksektir. Geçmişte, belirsiz ihtiyaçlar bir uzman mühendise verilirdi; bu mühendis sorular sorabilirdi ve ortak bir bağlam sayesinde niyeti tamamlayabilirdi. Ajantlar da soru sorabilir, ancak bağlam eksik olduğunda daha kolay tahminlerde bulunurlar.

Yüksek başarı oranı olan tipik bir görev, bir yazılımı bir programlama dilinden başka bir dile taşımaktır. Nedeni taşımak basit olması değil, spesifikasyonun son derece tam olmasıdır. Eski kod davranışları tanımlar, testler sınırları tanımlar, Agent her bir maddeyi karşılaştırarak yeni sürümün aynı şekilde davranmasını sağlayabilir.

Şimdi Agent, sizin için yazılım yazabilir, ancak tam olarak ne istediğinizi açıklamak daha da önemli hale geldi.

Bu cümle,所谓的AI doğası organizasyonlara doğrudan bir ilham vermektedir.

Geleceğin yöneticileri yalnızca görevleri dağıtmayacak, daha net hedefler ve kabul kriterleri yazacak. Tasarım belgeleri artık sadece ekip iletişim materyali olmayacak, aynı zamanda makine tarafından yürütülecek girdi haline gelecek. Testler, metrikler, kısıtlamalar ve örnekler, geliştirme sürecinin sonundan görev tanımlama aşamasına taşınacak.

“Tad”ın nasıl eğitileceği konusunda Jeff Dean, çok pratik bir yöntem öneriyor.

Gelecek 12 ayda önemli hale geleceğini düşündüğünüz şeyleri bir liste halinde yazın. Hepsinizi yapmak zorunda değilsiniz. 12 ay sonra tekrar kontrol edin; hangi tahminler doğrulandı, hangileri başkaları tarafından gerçekleştirildi, hangileri ilerleme kaydetmedi. Sürekli tahmin örnekleri biriktirerek, insanlar tahminlerini giderek daha iyi ayarlar.

Tad tamamen bir yetenek değildir. Tekrar analiz yaparak geliştirilebilir.

Mülakatın ikinci bölümünde, Jeff Dean oldukça çılgın bir düşünce deneyini paylaştı.

Geçtiğimiz 60 yılda, çip endüstrisi daha küçük, daha kararlı ve daha düşük hata oranına sahip transistörler arayışında olmuştur. Aynı tasarıma göre üretilen çiplerin mümkün olduğunca tamamen aynı olması ve bit tersine çevrilme sayısının mümkün olduğunca az olması varsayılmıştır.

Büyük dağıtık sistemlerde mühendisler, tek bir bileşenin arızalanabileceğini kabul etmişlerdir. Diskler bozulabilir, makineler çökebilir, anahtarlar sorun yaşayabilir. Sistem güvenilirliği, her bileşenin asla hata yapmamasından değil, kopyalama, doğrulama, fazlalık ve kurtarma ile sağlanır.

Jeff Dean, transistörlerin her gün 20 hata yapması yerine milyonlarca yılda bir hata yapması durumunda ne olur diye sordu.

Bu, gerçek bir ürün planı değildir. Sadece bir alışkanlık haline gelmiş varsayımı kaldırmaya çalışıyor. Belki de çok güvenilmez transistörler, tamamen farklı bir şekilde üretilebilir ve sistem, çoklu yol ve üst düzey fazlalık ile sonuçları garanti altına alabilir.

Çoğu düşünce deneyimi nihayetinde ürüne dönüşmez. Birçok endüstri uygulaması on yıllarca sürmüştür ve bunun gerçek nedenleri vardır. Ancak Jeff Dean, bu nedenlerin düzenli olarak yeniden incelenmesi gerektiğini düşünmektedir.

MapReduce, benzer bir süreçten gelir.

İlk Google tarama ve endeksleme sistemleri, çok sayıda el ile yazılan paralel kod, kontrol noktası ve hata kurtarma mantığı içeriyordu. Gerçek iş hesaplamaları genellikle çok basitti, örneğin tüm web sayfalarını okumak ve sayfanın dilini belirlemek. Ancak büyük miktarda sistem kodu, bu basit niyetleri bastırdı.

Jeff Dean ve Sanjay Ghemawat, fonksiyonel programlamadan ilham aldılar. Büyük görevleri Map ve Reduce olarak soyutlayarak, paralelleştirme, zamanlama, hata toleransı ve yeniden deneme işlevlerini tek bir çerçeveye indirgediler. İş geliştiricileri yalnızca hesaplama ifadelerini tanımlamak zorunda kaldı.

Bu tasarım, makinenin hata yapmamasını sağlamadı. Hataları sistemin emebilmesini sağladı.

Bugün Agent mühendisliği de benzer bir aşamada olabilir. Büyük bir takım, her görev için hala el ile uyarı metinleri, yeniden deneme mantığı ve araç çağrısı düzenliyor. Gelecekte, uzun menzilli Agent'ların ayrıştırılması, doğrulanması, kurtarılması ve paralel keşfi alt yapı seviyesinde bir yetenek haline gelen, MapReduce kadar basit bir soyutlama ortaya çıkacak mı?

Belki de bu, bir sonraki altyapı şirketlerinin fırsatıdır.

Jeff Dean, bilimsel yöntemi kendiliğinden otomatikleştirmek yönünde en heyecanlı.

Geleneksel bilimsel araştırma süreci, hipotez oluşturma, deney tasarımı, deney yürütme ve sonuçların analizi ardından yeni bir hipotez döngüsü üretmektir. Bu döngünün hızı uzun süredir deney maliyetleri ve doğrulama gecikmeleriyle sınırlı kalmıştır.

Yapay zeka iki kısmı değiştirebilir.

Bir kısmı otomatik olarak daha fazla deney önerip yürütüyor. Diğer kısmı ise pahalı doğrulayıcıları ucuz yaklaşımlı modellere dönüştürüyor.

Jeff Dean, kuantum kimya örneğini verdi. Araştırmacılar bir molekül konfigürasyonunun özelliklerini belirlemek için yoğunluk fonksiyonel teorisi simülasyonlarını çalıştırabilir. Bir simülasyon bir tam gece sürebilir. Google'ın araştırmacıları, büyük miktarda simülasyon girdi ve çıktıları kullanarak bir sinir ağı yaklaşımı eğitti. Bu yaklaşım, orijinal simülatöre yaklaşık 300 bin kat daha hızlı olmakla birlikte benzer doğruluk seviyesine sahiptir.

Doğrulama hızı değiştiğinde, bilimsel soruların şekli de değişir.

Geçmişte 10 milyon adayın filtrelenmesi aylarca hesaplama gücü gerektiren bir projeydi. Şimdi, araştırmacılar bir öğle yemeği yemek kadar bir sürede sistem ilk filtrelemeyi tamamlıyor. Deneyler, değerli tekil bir bahis değil, yüksek frekanslı bir arama haline geldi.

Bu, AlphaEvolve, AlphaChip vb. sistemlerin arkasındaki ortak mantıktır. Model öneriler sunar, araçlar önerileri yürütür, değerlendirici sonuçları filtreler ve iyi sonuçlar bir sonraki döngüye girer. Döngü yeterince hızlıysa, sistem büyük çözüm uzayında sürekli keşif yapabilir.

Makine öğrenimi kendisi de bu otomatik bilim nesnesi haline gelecektir.

Bugün büyük araştırma ekipleri genellikle insanlar tarafından yeni mimariler veya eğitim yöntemleri önerilir, ardından küçük ölçekli deneyler yapılır ve umut verici çözümler büyütülür. Jeff Dean, modelin bu sürecin giderek daha fazla aşamasını ele geçirmesini engelleyen temel bir engelin olmadığını düşünüyor. İnsanlar yüksek seviyeli yönleri belirler, sistem otomatik olarak yapıları, veri tariflerini ve eğitim stratejilerini araştırır ve başarılı deneyleri birleştirerek yeni modeller oluşturur.

Gelecekte araştırma verimliliğini ölçmek için sadece saniyedeki noktalı işlem sayısı değil, "her birim hesaplama gücüne karşılık kaç geçerli keşif üretildiği" de kullanılacaktır.

Hash gücü elbette önemlidir. Hash gücünü keşfe nasıl dönüştüreceğiniz daha önemlidir.

2014 yılında Jeff Dean, Geoff Hinton ve Oriol Vinyals, bilgi damıtımı hakkında bir makale sundu. Bugün, bilgi damıtımı, model sıkıştırma ve yetenek aktarımında temel bir yöntem haline geldi. Büyük modeller, daha küçük, daha hızlı ve daha ucuz öğrenci modellere yeteneklerini aktarıyor.

Sonradan büyük etki yaratan bu makale, o yıl NeurIPS tarafından reddedildi.

Bir hakem, bunun "önemli bir etki yaratma olasılığının düşük olduğunu" düşünüyor. İlgi duyan okuyucular, "Reddedildi≠Başarısızlık! Bu yüksek etkili makaleler de büyük konferanslardan reddedildi." başlıklı yazıyı inceleyebilir.

Jeff Dean, bu deneyimi anlarken öfkeli değildi. Gözden geçirenlerin, büyük ölçekli AI hizmetlerinin karşılaştığı gerçek sorunları anlayamayabileceğini söyledi. Google için, maliyetli büyük modelleri yüz milyonlarca kullanıcıya hizmet edebilecek küçük modellere dönüştürmek açıkça çok önemliydi. Sadece teorik yeniliklere odaklanan gözden geçirenler için bu, yeterince "temel" görünmeyebilirdi.

Makale reddedildikten sonra ekip, arXiv'e yükledi. Sektör bunu okudu ve kullanmaya başladı.

Bugün, Gemini'nin Flash modeli, daha küçük boyutlar ve daha düşük gecikme süreleriyle güçlü yeteneklerini koruyabiliyor, ve bu süreçte damıtma, önemli yöntemlerden biridir.

Bu hikaye sadece “direnmek başarı getirir” türünden ilham verici bir materyal değildir. Bu, değerlendirme sistemlerinin her zaman boşluklara sahip olduğunu gösterir. Bir çözümün değeri, bazen o sistemin darboğazını gerçekten yaşayan kişiler tarafından hemen anlaşılabilir.

Bu, girişimciler için de aynı derecede önemlidir.

Piyasa, yatırımcılar ve rakiplerin olumsuzluğu, yönün yanlış olduğunu gösterebilir; aynı zamanda karşı tarafın aynı sorunun içinde olmayabileceğini de gösterir. Fark, ekibin bu sorunun neden önemli olduğunu ve neden şimdi çözülebileceğini açıklayan yeterli somut kanıtlara sahip olup olmadığındadır.

Jeff Dean, kimsenin körükle bağlı kalmasını teşvik etmez. Teşvik ettiği şey: sorunu anlama, sürekli olarak doğrulama ve bir değerlendirme sonucunu dünyanın nihai kararı olarak görmemecktir.

Mülakatın sonuna doğru, Diana hayal gücüne dayalı bir soru sordu.

1999 yılında Google'a katıldığında genç Jeff Dean, 2026 yılında bir öncü laboratuvara katılacak mı, yoksa iki veya üç arkadaşıyla bir şirket mi kuracak?

Jeff Dean standart bir cevap vermedi.

Büyük kuruluşlar, yapı, platform ve çok sayıda yetenekli meslektaşına sahiptir. Bir kişi burada bilmediği bilgilere erişebilir ve olgun ürünlerle küresel kullanıcıları etkileyebilir. Küçük takımlar ise daha özgürdür ve daha büyük riskler taşır. Kurucular, bir sorunu gerçekten inanmalı ve belirsizlikleri yıllarca taşımaya hazırdırlar.

Verdiği değerlendirme kriteri, "büyük bir şirkette çalışmak mı yoksa girişimde bulunmak mı" sorusundan daha temel.

Bu sorunu çözdüğümde ve en iyi sonuç gerçekten gerçekleştiğinde, dünya bununla açıkça daha iyi hale gelecek mi, yoksa herkes sadece “Hmm, çok güzel,” diyip geçip mi gidecek?

Eğer cevap sadece “çok güzel” ise, en değerli zamanınızı harcamaya değer olmayabilir.

O, eşlik edenlerin önemini de vurguladı. Tamamlayıcı yeteneklere sahip kişileri bulmalısınız; aynı zamanda kendi kendini küçümseyen, işbirliği yapmaya açık ve iyi geçinen kişileri de seçmelisiniz. Gerçekten zor sorunlar genellikle uzun süre birlikte çalışmayı gerektirir. Takım üyeleri, birbirlerinin sahip olmadığı araçlara sahip olmalı ve ortak çalışmalarda kendi “araç kemerlerini” sürekli genişletmelidir.

Bu söz, eski nesil bir mühendisinin sadelik gösteriyor.

Yapay zeka endüstrisi üssel büyüme, süper zeka ve devasa sermaye toplama hakkında konuşmayı sever. Ancak Jeff Dean, sonunda seçimi üç küçük şeyde sonlandırır: Gerçekten ilgilendiğiniz bir sorunu çözün, sevdiğiniz insanlarla çalışın ve dünyayı daha iyi hale getirmek için en iyi çabayı gösterin.

Jeff Dean'in kariyeri boyunca birçok defa anlatılan efsaneler var.

O, Sanjay Ghemawat ile birkaç gün içinde arama sistemini yeniden yazdı ve dizini belleğe aldı. Üç dakikalık bir sesli tahmin, Google'nin TPU üretmesini sağladı. MapReduce, büyük ölçekli paralel ve hata toleransını tek bir soyutlama altında gizledi. Bilgi distilasyonu, reddedilen bir makaleden endüstrinin temel teknolojilerinden birine dönüştü.

Bu hikâyeleri, sürekli ilham alan bir deha olarak hayal etmek kolay.

Ancak bu röportajdan anlaşılacağı üzere, yöntemi aslında oldukça tutarlı.

Öncelikle nicelik düzeyini hesaplayın. Daha sonra gerçek darboğazı bulun. Sonra varsayımları sorgulayın ve daha basit bir soyutlama oluşturun. Son olarak, ölçüm ve geri bildirimle sistemi sürekli olarak yineleyin.

Bugün AI endüstrisi benzer bir dönüm noktasındadır.

Model yeterince güçlü, ilk seviye mühendislik görevlerini üstlenebilecek kadar güçlü. Şimdi, gerçek verimliliği belirleyen, modelin zekâsı değil, çıkarım maliyeti, bağlam organizasyonu, araç kalitesi, doğrulama hızı ve uzun süreli çalışma güvenilirliğidir.

Ajanlar, takım üyesi gibi giderek daha fazla davranacak. Ancak bunlar için net spesifikasyonlara, becerilere, kontrol noktalarına, değerlendirmeye ve başarısızlığa izin veren bir sisteme ihtiyaç vardır.

Kurumsal şirketlerin fırsatları da kaybolmaz, sadece daha zor hale gelir. Genel modellerin %20'sini yapabildiği şeyleri yapmaktan ziyade, başarı oranları hâlâ %0 veya %1 civarında olan sorunları arayın. Orada özel veriler, uzman değerlendirme araçları, dar alan modelleri veya tamamen yeni sistem soyutlamaları gizli olabilir.

Kod üretimi daha da ucuzlaştıkça, gerçekten pahalı olan sorun kendisi olacak.

Ne yapmak değerli? Hangi sınırlamalar eskidi? Hangi değişimler tam olarak kritik noktayı aştı? Hangi sistem 50 kat daha hızlı olsaydı tamamen farklı bir ürün haline gelirdi?

Jeff Dean, 6000 girişimci için bir fırsat listesi vermedi. Verdiği daha dayanıklı bir düşünme şekliydi.

En popüler yanıtı takip etmeyin.

Önce soruyu hesaplayın.

Referans bağlantısı

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

Bu yazı, WeChat hesabından "Makine Kalbi" (ID: almosthuman2014) tarafından paylaşılmıştır, yazar: Panda