Jeff Dean tentang Fase Berikutnya AI: Dari TPU ke Agen yang Berkembang Sendiri

Pada Startup School YC 2026, suara Jeff Dean agak serak.

Pada awal wawancara, ia menjelaskan bahwa ia kehilangan suaranya, sehingga suaranya hari ini terdengar berbeda dari biasanya. Namun, hal ini tidak mengganggu perhatian penonton di bawah panggung. Diana Hu, mitra YC yang duduk di hadapannya, secara terus-menerus menyebutkan serangkaian nama yang layak dimasukkan ke dalam sejarah komputer: MapReduce, BigTable, TensorFlow, TPU, Gemini.

Setiap proyek saja sudah cukup menjadi karya representatif seorang insinyur sepanjang karier mereka. Namun, proyek-proyek ini muncul secara terkonsentrasi dalam riwayat Jeff Dean dan sekelompok insinyur Google di sekitarnya.

Diana tidak menjadikan wawancara sebagai tinjauan prestasi. Dia lebih peduli pada pertanyaan lain: ketika AI generatif telah menguasai industri perangkat lunak, apa yang sedang diperhatikan oleh Jeff Dean, orang yang paling ahli dalam merekonstruksi sistem dari dasar?

Jawabannya bukan model yang lebih besar.

Dalam percakapan selama hampir satu jam ini, Jeff Dean berulang kali membahas perangkat inferensi, energi, pemindahan data, rekayasa konteks, agen yang berjalan lama, sistem eksperimen otomatis, serta bagaimana startup dapat menghindari tekanan langsung dari model umum. Yang ia sampaikan tampak terpisah-pisah, tetapi sebenarnya memiliki garis besar yang sangat jelas: tahap berikutnya dari AI bukan hanya membuat model lebih cerdas, tetapi menempatkan model ke dalam sistem yang dapat bekerja jangka panjang, terus-menerus mencoba dan gagal, memverifikasi secara otomatis, serta terus mengakumulasi kemampuan.

Ini juga berarti persaingan AI sedang berpindah dari "siapa yang memiliki model lebih besar" menjadi "siapa yang bisa mengorganisasi kecerdasan dengan lebih baik".

Pada Mei 2025, Jeff Dean pernah membuat pernyataan yang memicu diskusi luas: kemampuan AI telah mendekati tingkat insinyur pemula.

Satu tahun kemudian, Diana bertanya kepadanya, bagaimana perkembangan prediksi ini?

Jawaban Jeff Dean sangat langsung. Ia percaya bahwa penilaian ini "cukup akurat." Kemajuan model dalam pengembangan agen, pemrograman alur panjang, dan tugas kompleks bahkan lebih cepat daripada yang diperkirakannya pada saat itu.

“Kemampuan model untuk menyelesaikan tugas yang semakin kompleks tumbuh lebih cepat dari yang saya perkirakan,” katanya.

Lebih penting lagi, kemampuan ini tidak lagi terbatas pada penulisan kode. Semakin banyak sistem Agent yang memasuki bidang ilmiah, teknik, dan profesi lainnya. Mereka tidak hanya menjawab pertanyaan, tetapi juga memecah tugas, menggunakan alat, menjalankan eksperimen, membaca hasil, serta melanjutkan tindakan berdasarkan umpan balik.

Mengibaratkan AI sebagai insinyur pemula cenderung membuat perhatian terfokus pada penggantian tenaga kerja. Namun, Jeff Dean lebih peduli pada perubahan tingkat lain: ketika seorang "insinyur pemula" dapat direplikasi menjadi puluhan, ratusan, dan bekerja secara paralel selama beberapa hari bahkan berminggu-minggu, bagaimana cara organisasi memproduksi akan berubah?

Dalam tim tradisional, insinyur junior perlu memahami bisnis, memahami alat, dan terus menerima umpan balik. Agent juga demikian. Hanya saja, bahan pelatihannya tidak lagi hanya berupa dokumen, tetapi juga prompt, penjelasan alat, file keterampilan, sistem pengujian, evaluator, serta seluruh lingkungan konteks.

Ini menciptakan pembagian kerja baru dalam rekayasa AI.

Di masa lalu, insinyur terutama bertanggung jawab menulis kode. Di masa depan, lebih banyak insinyur akan bertanggung jawab mendefinisikan masalah, membangun lingkungan, menulis spesifikasi, merancang loop umpan balik, lalu mengoordinasikan sekelompok Agent untuk menyelesaikan tugas.

Prediksi Jeff Dean untuk tahun 2027 tepat seperti itu. Ia percaya bahwa sistem pembelajaran mesin akan semakin banyak terlibat dalam meningkatkan sistem pembelajaran mesin itu sendiri. Mereka akan memecah tujuan menjadi submasalah, menjalankan sejumlah besar eksperimen secara otomatis, membandingkan hasilnya, lalu menggabungkan solusi yang efektif untuk membentuk sistem baru yang lebih kuat.

Di mana pun ada tujuan yang dapat diukur, ada peluang untuk membuat kemajuan besar.

This sentence is the first key to the entire interview.

Bidang pertama yang diserang oleh otomasi AI bukanlah yang paling banyak pengetahuannya, tetapi yang memiliki umpan balik paling jelas. Apakah kode bisa lulus pengujian, apakah tata letak chip bisa mengurangi luas area, apakah struktur model bisa meningkatkan akurasi, apakah sifat material memenuhi persyaratan—semua pertanyaan ini memiliki kriteria evaluasi yang relatif jelas. Selama evaluator cukup andal, mesin dapat melakukan percobaan berulang-ulang dengan frekuensi sangat tinggi.

Jadi, unit yang benar-benar penting di era AI mungkin bukan lagi sekadar satu jawaban, melainkan satu siklus lengkap: mengusulkan solusi, menjalankan solusi, mengukur hasil, dan menyesuaikan arah.

Banyak karya representatif Jeff Dean berasal dari titik awal yang sangat sederhana: pertama-tama hitung orde besarnya.

Pada tahun 2001, pencarian Google masih sangat bergantung pada hard disk. Hard disk memiliki kapasitas besar, tetapi kecepatan aksesnya lambat. Jeff Dean dan Sanjay Ghemawat melakukan perkiraan dan menemukan bahwa seluruh indeks pencarian Google saat itu sudah cukup muat di memori semua server.

Hari ini kedengarannya hanya sekadar peningkatan media penyimpanan. Tetapi pada saat itu, itu berarti desain sistem yang sama sekali berbeda.

Jika indeks sebagian besar tetap di hard disk, pencarian memerlukan waktu menunggu pencarian mekanis. Dengan memindahkan indeks ke memori, latensi akses dapat turun drastis. Keduanya segera menulis versi baru dan meluncurkannya ke lingkungan produksi dalam beberapa hari. Pencarian Google menjadi jauh lebih cepat.

Cerita ini paling mudah dikemas sebagai kilasan cemerlang seorang jenius. Namun, penjelasan Jeff Dean justru lebih seperti seorang insinyur yang menyatakan hal yang umum: kondisi sistem berubah, solusi yang sebelumnya tidak berlaku tiba-tiba menjadi valid, maka sebaiknya dihitung ulang.

Banyak inovasi industri terjadi pada saat-saat seperti ini.

Masalah lama telah ada lama, dan orang-orang telah terbiasa memperbaikinya dengan patch. Kemudian, harga perangkat keras, kapasitas memori, bandwidth jaringan, atau kemampuan model melewati titik kritis tertentu, sehingga batasan lama menghilang. Namun, kebanyakan orang masih menggunakan arsitektur lama karena arsitektur tersebut telah menjadi hal yang umum.

Jeff Dean ahli dalam mengubah akal sehat menjadi asumsi kembali.

Dia akan bertanya: Mengapa harus seperti ini? Apakah skala hari ini masih sama dengan skala kemarin? Jika langkah paling mahal diganti, apakah seluruh sistem akan berubah menjadi bentuk yang sama sekali berbeda?

Ini juga saran yang dia berikan kepada para pengusaha. Jangan hanya melihat di mana solusi yang ada masih kurang, tetapi tinjau ulang masalahnya dari prinsip dasar. Bisakah kinerja ditingkatkan sepuluh kali lipat? Bisakah biaya diturunkan seratus kali lipat? Bisakah kita berhenti mengikuti jalur implementasi default industri?

Kadang-kadang, Anda hanya perlu memandang suatu masalah dengan sedikit mengernyit, jangan terpaku pada solusi hari ini, tetapi berpikir dari prinsip dasar bagaimana seharusnya menyelesaikannya.

Kalimat ini terdengar tidak misterius. Yang benar-benar sulit adalah, sebagian besar orang setelah memasuki suatu industri akan cepat mempelajari semua jawaban default industri tersebut. Pengalaman membantu meningkatkan efisiensi, tetapi juga membuat seseorang kehilangan kemampuan untuk kembali bertanya.

Pada tahun 2013, pengenalan suara pembelajaran mendalam Google mulai secara signifikan melampaui sistem lama. Tingkat kesalahan turun setengahnya, setara dengan kemajuan pengenalan suara selama dua dekade terakhir yang terjadi dalam beberapa bulan.

Tim produk tentu saja bersemangat. Namun, Jeff Dean terlebih dahulu menghitung angka-angkanya.

Jika pengenalan suara benar-benar menjadi lebih baik, pengguna akan lebih bersedia menggunakannya. Misalkan setiap pengguna Google hanya menggunakan pengenalan suara selama tiga menit per hari, berapa banyak server yang dibutuhkan Google untuk mendukungnya?

Hasilnya tidak optimis. Berdasarkan efisiensi CPU saat itu, Google mungkin perlu memperbesar skala servernya menjadi dua kali lipat.

Ini adalah titik awal TPU.

It was not because the research team suddenly wanted to build chips, nor to prove that Google is capable of making hardware, but because a successful model was about to create a service cost that could not be sustained.

Sejarah ini mengungkapkan pola yang sering diabaikan dalam produk AI: peningkatan efektivitas model tidak selalu mengurangi biaya. Sebaliknya, semakin baik efeknya, semakin besar penggunaannya, dan semakin berat tekanan sistemnya.

Ketika pengenalan suara tidak berfungsi dengan baik, pengguna jarang memanggilnya. Biaya sistem bukanlah masalah. Ketika tingkat kesalahan turun drastis, permintaan tiba-tiba dilepaskan, batasan daya komputasi yang sebelumnya tersembunyi di latar belakang akan muncul ke permukaan.

Jalur yang dipilih TPU adalah untuk membuat perangkat keras khusus guna mendukung pola komputasi paling inti dalam machine learning. TPU tidak perlu menjalankan browser atau menangani semua program umum. TPU terutama unggul dalam aljabar linier padat dengan presisi rendah. Jenis komputasi ini tepat berada di pusat machine learning modern.

TPU generasi pertama akhirnya membawa peningkatan efisiensi sebesar beberapa orde. Menurut Jeff Dean, TPU ini 30 hingga 80 kali lebih hemat energi dibandingkan CPU dan GPU pada masa itu, serta memiliki latensi 20 hingga 30 kali lebih rendah.

Masih ada satu ukuran desain yang sering diabaikan.

TPU sangat spesifik, tetapi tidak begitu spesifik hingga hanya dapat menjalankan satu model tetap. Tim menyadari bahwa algoritma pembelajaran mesin akan terus berkembang pesat, sehingga mereka merancang chip sebagai sistem aljabar linier yang lebih umum. Chip ini mengorbankan kemampuan untuk menjalankan Chrome atau Word, tetapi tetap menyediakan ruang untuk mendukung perkembangan algoritma di masa depan.

Ini adalah keseimbangan yang sulit diatur. Jika terlalu sedikit digunakan, keuntungan tidak terlihat. Jika terlalu banyak digunakan, perubahan algoritma akan membuat perangkat keras menjadi usang.

Penilaian Jeff Dean terhadap perangkat inferensi hari ini jelas memiliki resonansi dengan TPU pada masa itu. Ia percaya bahwa peluang penting berikutnya tetap berada pada spesialisasi, tetapi fokusnya akan semakin beralih ke inferensi dengan latensi rendah dan konsumsi energi rendah.

Bayangkan apa yang bisa Anda lakukan jika latensi dapat ditingkatkan 50 kali lipat.

Ketika respons model membutuhkan beberapa belas detik, orang akan menganggapnya sebagai alat yang hanya digunakan sesekali. Ketika penundaan mendekati instan, barulah ia berpotensi masuk ke antarmuka interaktif, robot, video real-time, sistem operasi, dan alur keputusan berkelanjutan.

Menunggu bukanlah masalah pengalaman kecil. Menunggu akan mengubah bentuk produk.

Jika ingin memperbarui versi "Angka Latensi yang Harus Diketahui Setiap Insinyur" untuk insinyur AI tahun 2026, Jeff Dean percaya bahwa fokusnya harus beralih dari pencarian hard disk, cache miss, dan latensi jaringan antar benua ke aliran data di dalam chip.

Insinyur perlu mengetahui: berapa bandwidth dari memori utama ke memori on-chip, berapa bandwidth dari memori on-chip ke unit perkalian, berapa energi yang dibutuhkan untuk satu operasi perkalian, bagaimana chip saling terhubung, dan seberapa besar efisiensi jaringan akan menurun ketika skala dari 500 chip menjadi 10.000 chip.

Angka-angka ini tampak jauh dari produk, tetapi sebenarnya menentukan produk apa yang dapat berhasil.

Jeff Dean memberikan perbandingan yang sangat mengejutkan. Menyelesaikan satu operasi perkalian matematis hanya membutuhkan sekitar satu pikojoule energi. Memindahkan data dari memori berbandwidth tinggi ke unit komputasi dapat menimbulkan biaya energi hingga sekitar 1000 kali lebih tinggi.

Dengan kata lain, tindakan mahal dalam sistem AI hari ini sering bukan "menghitung", melainkan "memindahkan hal-hal yang perlu dihitung".

Ini juga menjelaskan mengapa pemrosesan batch sangat penting.

Setelah bobot model dipindahkan dari memori ke unit komputasi, jika hanya memproses satu token, biaya pemindahan data seluruhnya ditanggung oleh satu token tersebut. Jika memproses batch yang lebih besar secara bersamaan, bobot yang sama dapat melayani lebih banyak komputasi, sehingga biaya energi dan bandwidth menjadi terdistribusi.

Namun, pemrosesan batch dan latensi rendah secara alami saling bertentangan. Untuk mengumpulkan sejumlah permintaan, sistem sering perlu menunggu. Throughput meningkat, tetapi respons untuk pengguna individu mungkin menjadi lebih lambat.

Oleh karena itu, banyak masalah yang tampaknya berasal dari lapisan model sebenarnya merupakan masalah perangkat keras dan sistem. Mengapa pelatihan menggunakan batch besar, mengapa inferensi memerlukan KV Cache, mengapa model mengejar presisi rendah, dan mengapa sistem memerlukan kuantisasi—semuanya tidak dapat dipisahkan dari batasan pemindahan data dan energi.

Jeff Dean baru-baru ini lebih fokus pada inferensi, karena inferensi sangat sensitif terhadap latensi. Jika tugas pelatihan berjalan lebih lambat, biasanya hanya berarti eksperimen selesai lebih terlambat. Namun, setiap detik tambahan menunggu pada tugas inferensi secara langsung memengaruhi pengalaman pengguna dan efisiensi kerja Agent.

Jika sebuah Agent perlu memanggil model secara berurutan sebanyak 1000 kali, pengurangan latensi sebesar 50% per panggilan dapat menghasilkan perbedaan besar dalam waktu penyelesaian keseluruhan tugas. Belum lagi di masa depan, Agent akan berjalan selama beberapa hari atau minggu.

Oleh karena itu, "masalah energi" AI bukanlah isu lingkungan yang jauh. Ini secara langsung menentukan apakah model dapat melayani lebih banyak orang dengan biaya murah, apakah agen dapat berjalan secara berkelanjutan, dan apakah margin kotor perusahaan rintisan sehat.

Dalam beberapa tahun terakhir, industri AI biasanya mengukur kemajuan berdasarkan jumlah parameter, data pelatihan, dan skor benchmark. Pada 2026, Jeff Dean lebih menekankan segala sesuatu yang mengelilingi model.

Sistem AI yang benar-benar berguna, selain model, juga memerlukan pencarian, alat, memori, informasi historis, lingkungan eksekusi, dan mekanisme umpan balik. Model harus mengetahui alat-alat apa yang tersedia, kapan harus memanggil alat, bagaimana memecah masalah kompleks menjadi serangkaian tindakan, serta mampu membandingkan berbagai solusi dan menilai mana yang paling mungkin berhasil.

Inilah mengapa "context engineering" mulai berada di pusat perhatian.

Jeff Dean mengatakan bahwa informasi yang dilihat model selama tahap pelatihan akhirnya "diaduk" ke dalam ratusan miliar hingga triliunan parameter. Mereka seperti sup kental, pengetahuannya ada, tetapi tidak selalu jelas. Informasi yang benar-benar dimasukkan ke dalam konteks saat ini lebih langsung dan lebih mudah digunakan secara akurat oleh model.

Ini memberikan peluang penting bagi tim kecil.

Melatih model dasar memerlukan modal, data, dan daya komputasi dalam jumlah besar. Namun, rekayasa konteks dapat dimulai hanya dengan sebuah API. Pengusaha dapat mengorganisasi pengetahuan domain, alur alat, data pelanggan, dan kriteria evaluasi di sekitar bisnis spesifik, sehingga membuat model umum menjadi lebih andal dalam skenario sempit.

Jeff Dean memberikan contoh dari dirinya sendiri.

Dia dan Sanjay Ghemawat sering mengoptimalkan perpustakaan dasar internal Google. Struktur data ini mungkin berjalan di jutaan proses, satu Klik Perbedaan kinerja akan diperbesar oleh skala. Pendekatan tradisional adalah insinyur terlebih dahulu menulis mikro-benchmark, mengukur kinerja saat ini, lalu memodifikasi kode, menjalankan kembali benchmark, mengamati penggunaan cache dan perubahan kinerja, kemudian melanjutkan iterasi.

Dua orang menuliskan metode kerja ini sebagai sebuah keterampilan Agent. Model belajar cara menjalankan benchmark, memodifikasi kode, membandingkan hasil, lalu terus mengoptimalkan berdasarkan pengukuran.

Kami hanya memberikan kepada model cara yang digunakan manusia dalam bentuk yang dapat digunakan oleh model.

This sentence can almost be considered a naive definition of context engineering.

Ini bukan trik prompt misterius, bukan pula menumpuk lebih banyak bahan latar belakang. Ini adalah menjawab tiga pertanyaan: Ahli akan melakukan langkah-langkah apa, alat-alat andal apa yang dimiliki sistem, dan bagaimana hasilnya harus diverifikasi.

Setelah konten ini distrukturkan, model tidak memperoleh lebih banyak pengetahuan, melainkan serangkaian metode yang dapat dijalankan berulang-ulang.

Inilah mengapa "keterampilan (skill)" menjadi aset kunci dalam ekosistem Agent. Sebuah file keterampilan yang unggul dapat merangkum pengalaman implisit tim selama bertahun-tahun. Ia memberi tahu model apa yang harus dilakukan terlebih dahulu saat menghadapi jenis masalah tertentu, kesalahan apa yang paling umum, alat apa yang dapat dipercaya, dan hasil apa yang dianggap selesai.

Diferensiasi perusahaan di masa depan kemungkinan tidak hanya terletak pada bobot model, tetapi juga pada pengalaman yang dikodekan ke dalam alur kerja ini.

Hampir semua tim yang benar-benar pernah membuat Agent pernah mengalami skenario yang sama.

Langkah-langkah awal berjalan lancar. Model bisa membaca permintaan, menggunakan alat, dan menulis kode. Namun, pada langkah ke-30 atau ke-50, ia mulai melupakan tujuan, salah memahami status, mengulangi tindakan, atau semakin jauh menyimpang ke arah yang salah.

Jeff Dean mengaitkan salah satu alasan tersebut dengan masalah out-of-distribution.

Model telah melihat sejumlah besar tugas umum selama pelatihan. Selama tugas tetap berada di "jalan cerah" yang dikenalnya, kinerjanya biasanya baik. Namun, begitu serangkaian operasi membawanya ke keadaan yang tidak dikenal, kinerjanya akan turun drastis. Semakin jauh dari zona nyaman, semakin mudah kesalahan terakumulasi.

Salah satu solusinya adalah menyediakan keterampilan dan petunjuk untuk membatasi model sebanyak mungkin pada jalur yang sudah dikenalnya. Metode lainnya adalah menggunakan sistem Multi-Agent.

Beberapa agen dapat mencoba berbagai solusi, lalu model lain bertindak sebagai evaluator untuk menilai arah mana yang lebih menjanjikan. Cabang yang gagal dibuang, sementara cabang yang sukses dilanjutkan. Pada dasarnya, ini adalah pencarian selama tahap penalaran.

Ini tidak asing dengan cara kerja tim manusia. Dalam menghadapi masalah kompleks, seseorang mengusulkan solusi, orang lain meninjau risiko, dan orang ketiga menjalankan eksperimen. Tim tidak mempertaruhkan semua harapan pada satu gagasan saja, tetapi mengurangi kesalahan titik tunggal melalui pembagian tugas dan umpan balik.

Semakin lama agen berjalan, semakin sedikit sistem dapat mengandalkan keberhasilan sekali saja.

Agen jangka panjang yang benar-benar andal memerlukan checkpoint, manajemen status, rollback, eksplorasi cabang, evaluasi eksternal, kontrol izin, dan pemulihan pengecualian. Ia lebih mirip sistem terdistribusi daripada jendela obrolan yang sangat panjang.

Inilah saat latar belakang Jeff Dean mulai kembali menjadi penting.

Salah satu masalah inti yang diatasi oleh MapReduce adalah bagaimana membuat sejumlah besar mesin yang tidak andal melakukan komputasi yang andal. Sistem Agent saat ini menghadapi kontradiksi serupa: panggilan model tunggal tidak sempurna, alat juga bisa gagal, tetapi seluruh tugas tetap harus diselesaikan sestabil mungkin.

Platform agen masa depan yang unggul kemungkinan besar akan mewarisi banyak pemikiran sistem terdistribusi. Tugas dapat dibagi, hasil dapat diverifikasi, kegagalan dapat dicoba ulang, status dapat dipulihkan, dan kesalahan lokal seharusnya tidak menghancurkan seluruh proses.

Ketika Jeff Dean mengatakan bahwa Agent akan berjalan selama beberapa hari bahkan beberapa minggu, dia bukan sedang menggambarkan obrolan yang lebih panjang. Dia sedang menggambarkan infrastruktur komputasi baru.

Dalam konteks Startup School, pertanyaan yang paling diperhatikan tentu saja peluang wirausaha.

Google dapat merancang chip, pusat data, model, dan produk secara kolaboratif. Model umum seperti Gemini masih terus memperluas batas kemampuannya. Bagaimana tim yang hanya terdiri dari dua atau tiga orang bisa menang?

Jawaban Jeff Dean tidak romantis.

Peluang untuk tim kecil biasanya ada di bidang-bidang spesifik yang tidak cukup diperhatikan oleh model umum. Pengusaha dapat menggabungkan antarmuka produk, data propietari, alur kerja, dan keahlian domain untuk menyediakan akurasi yang lebih tinggi dan pengalaman yang lebih baik dalam skenario sempit.

Namun ia segera memberikan peringatan: model umum sedang menjadi semakin kuat. Fitur produk yang tampak independen hari ini, enam atau dua belas bulan mendatang, mungkin langsung dicakup oleh model dasar.

Oleh karena itu, pengusaha perlu menilai apakah keunggulan mereka berkelanjutan.

Jeff Dean memberikan kriteria penyaringan yang sangat spesifik: mencari tugas-tugas di mana tingkat keberhasilan model umum saat ini mendekati 0% atau 1%, bukan tugas-tugas yang sudah bisa mencapai 20%.

Jika model benar-benar gagal, ini mungkin merupakan tanda yang baik. Jika model sudah bisa melakukan sebagian, hanya saja tidak melakukan dengan baik, itu justru belum tentu tanda yang baik.

Alasannya sederhana. 20% berarti kemampuan mulai muncul. Lebih banyak data, model yang lebih besar, dan inferensi yang lebih panjang kemungkinan besar akan segera mendorongnya ke tingkat yang dapat digunakan. 0% atau 1% menunjukkan bahwa tugas tersebut mungkin kekurangan data kunci, alat khusus, umpan balik domain, atau kemampuan yang sulit diperoleh oleh model umum dalam jangka pendek.

Ini bisa disebut sebagai "aturan 1%" Jeff Dean.

Ini bukan menyarankan wirausahawan untuk hanya memilih masalah paling sulit, tetapi mencari masalah yang menjadi titik buta struktural pada model umum.

Ada tiga kategori blind spot semacam ini.

Kategori pertama adalah data eksklusif. Model umum dapat mengorganisasi informasi dunia, tetapi belum tentu dapat mengakses seluruh profil pribadi pengguna tertentu, proses internal perusahaan, atau data real-time yang dihasilkan oleh perangkat tertentu. Produk startup yang memperoleh data ini dapat membentuk perspektif yang berbeda dari model dasar.

Kategori kedua adalah evaluasi profesional. Banyak industri tidak kekurangan kemampuan generasi, tetapi kekurangan penilaian yang andal. Bidang medis, material, chip, manufaktur, dan penelitian ilmiah memerlukan validator berkualitas tinggi. Siapa yang dapat mendefinisikan "apa yang benar", dialah yang dapat membuat Agent terus dioptimalkan.

Kategori ketiga adalah model sempit namun mendalam. AlphaFold bukanlah model obrolan umum, melainkan memiliki kemampuan sangat spesifik untuk masalah struktur protein. Ilmu material, desain chip, dan bidang profesional lainnya juga mungkin menghadapi peluang serupa.

Pengambilan keputusan ini tidak mudah bagi para pengusaha. Ini memerlukan tim untuk memahami batasan kemampuan model, sekaligus memahami masalah mendalam di industri tersebut. Hanya memahami AI saja, berisiko menciptakan fitur yang cepat diserap oleh platform. Hanya memahami industri saja, bisa jadi meremehkan kecepatan kemajuan model.

Peluang sejati berada di perbatasan keduanya.

Diana mengajukan sebuah hipotesis: Jika di masa depan setiap pendiri dapat mengelola 50, 100 Agent sekaligus, dan semua kode ditulis oleh Agent, kemampuan apa yang akan menjadi langka?

Jeff Dean menjawab dengan "selera".

Lebih tepatnya, menentukan apa yang harus dilakukan oleh Agent.

Ia percaya bahwa sebagian besar nilai dari pekerjaan penelitian bukan terletak pada seberapa sempurna eksperimen dilakukan, tetapi pada apakah masalah yang dipilih layak untuk diteliti. Sebuah tim dapat menggunakan metode paling canggih untuk menyelesaikan penelitian yang tidak penting. Namun, jika mereka menangkap masalah kunci yang, jika dipecahkan, dapat mengubah seluruh bidang tersebut.

Setelah agen menurunkan biaya eksekusi, pentingnya pemilihan masalah akan semakin meningkat.

Di masa lalu, sebuah ide kabur akan menghilang secara alami karena biaya pengembangannya terlalu tinggi. Di masa depan, dengan menggerakkan cukup banyak Agent, banyak ide dapat segera dijadikan prototipe. Dunia tidak akan otomatis menghasilkan lebih banyak produk bagus, hanya lebih banyak produk.

Spesifikasi juga akan menjadi lebih penting.

Jeff Dean mengatakan bahwa semakin jelas tujuannya saat bekerja sama dengan agen virtual, semakin tinggi tingkat keberhasilannya. Di masa lalu, kebutuhan yang kabur diberikan kepada seorang insinyur berpengalaman, yang dapat bertanya lebih lanjut dan mengandalkan latar belakang bersama untuk melengkapi maksud. Meskipun agen juga bisa bertanya, ia lebih cenderung membuat asumsi sendiri ketika kekurangan konteks.

Tugas dengan tingkat keberhasilan tinggi yang khas adalah memigrasikan perangkat lunak dari satu bahasa pemrograman ke bahasa lain. Alasannya bukan karena migrasinya sederhana, tetapi karena spesifikasinya sangat lengkap. Kode lama mendefinisikan perilaku, pengujian mendefinisikan batasan, dan Agent dapat membandingkan satu per satu hingga versi baru menunjukkan perilaku yang konsisten.

Sekarang Agent bisa menulis perangkat lunak untukmu, tetapi menjelaskan apa yang sebenarnya kamu inginkan menjadi lebih penting.

Kalimat ini memiliki implikasi langsung terhadap organisasi native AI.

Manajer masa depan tidak hanya akan mendistribusikan tugas, tetapi juga menulis tujuan dan kriteria penerimaan yang lebih jelas. Dokumen desain tidak lagi hanya menjadi bahan komunikasi tim, tetapi juga menjadi input untuk eksekusi mesin. Pengujian, metrik, batasan, dan contoh akan dipindahkan dari akhir proses pengembangan ke tahap definisi tugas.

Tentang bagaimana "selera" dilatih, Jeff Dean memberikan pendekatan yang sangat pragmatis.

Tulis daftar hal-hal yang menurutmu akan menjadi penting dalam 12 bulan ke depan. Kamu tidak perlu melakukan semuanya. Setelah 12 bulan, periksa kembali: mana yang terbukti benar, mana yang sudah dilakukan orang lain, dan mana yang tidak mengalami kemajuan sama sekali. Dengan terus mengumpulkan sampel prediksi, seseorang secara perlahan akan menyesuaikan penilaian mereka.

Selera tidak sepenuhnya merupakan bakat. Itu juga bisa dilatih melalui evaluasi ulang.

Di bagian akhir wawancara, Jeff Dean membagikan sebuah eksperimen pemikiran yang cukup gila.

Selama 60 tahun terakhir, industri chip terus berupaya menghasilkan transistor yang lebih kecil, lebih stabil, dan dengan tingkat kesalahan lebih rendah. Secara default, dianggap bahwa chip yang diproduksi dengan desain yang sama seharusnya serupa sebisa mungkin, semakin sedikit bit flip yang terjadi, semakin baik.

Di dalam sistem terdistribusi besar, insinyur telah menerima bahwa komponen tunggal dapat gagal. Hard disk bisa rusak, mesin bisa down, dan switch jaringan bisa bermasalah. Keandalan sistem tidak berasal dari setiap komponen yang sempurna, tetapi dari replikasi, pemeriksaan, redundansi, dan pemulihan.

Jadi Jeff Dean bertanya: Bagaimana jika transistor mengalami 20 kesalahan setiap hari, bukan sekali dalam beberapa juta tahun?

Ini bukanlah rencana produk nyata. Dia hanya mencoba menghilangkan asumsi yang biasa diterima. Mungkin transistor yang sangat tidak andal dapat dibuat dengan cara yang sama sekali berbeda, sementara sistem menjamin hasil melalui jalur ganda dan redundansi tingkat tinggi.

Sebagian besar eksperimen pemikiran pada akhirnya tidak menjadi produk. Banyak praktik industri berlangsung selama puluhan tahun, dan memang ada alasan yang kuat. Namun, Jeff Dean percaya bahwa alasan-alasan ini tetap perlu ditinjau ulang secara berkala.

MapReduce berasal dari proses serupa.

Sistem crawler dan indeks Google awal mengandung banyak kode paralel manual, checkpoint, dan logika pemulihan kegagalan. Perhitungan bisnis sebenarnya seringkali sangat sederhana, misalnya membaca semua halaman web dan menentukan bahasa halaman. Namun, sebagian besar kode sistem menenggelamkan niat sederhana tersebut.

Jeff Dean dan Sanjay Ghemawat terinspirasi dari pemrograman fungsional. Mereka mengabstraksikan sejumlah besar tugas menjadi Map dan Reduce, serta menurunkan paralelisasi, penjadwalan, toleransi kesalahan, dan pencobaan ulang ke dalam kerangka kerja terpadu. Pengembang bisnis hanya perlu menyatakan perhitungan itu sendiri.

Desain ini tidak membuat mesin menjadi tanpa kesalahan. Ia membuat kesalahan dapat diserap oleh sistem.

Proyek Agent hari ini mungkin juga berada pada tahap serupa. Banyak tim masih secara manual menyusun prompt, logika retry, dan pemanggilan alat untuk setiap tugas. Di masa depan, apakah akan muncul abstraksi sebersih MapReduce yang menjadikan dekomposisi, validasi, pemulihan, dan eksplorasi paralel Agent jangka panjang sebagai kemampuan dasar?

Ini mungkin merupakan peluang bagi perusahaan infrastruktur berikutnya.

Jeff Dean paling bersemangat tentang arah masa depan, yaitu mengotomatisasi metode ilmiah itu sendiri.

Proses penelitian tradisional melibatkan merumuskan hipotesis, merancang eksperimen, menjalankan eksperimen, menganalisis hasil, lalu menghasilkan hipotesis putaran berikutnya. Kecepatan siklus ini secara jangka panjang dibatasi oleh biaya eksperimen dan keterlambatan verifikasi.

AI dapat mengubah dua bagian.

Sebagian otomatis mengusulkan dan menjalankan lebih banyak eksperimen. Sebagian lagi mengubah validator mahal menjadi model aproksimasi murah.

Jeff Dean mengambil contoh kimia kuantum. Para peneliti ingin menentukan sifat suatu konfigurasi molekul dengan menjalankan simulasi teori fungsional densitas. Satu simulasi bisa memakan waktu sepanjang malam. Para peneliti Google melatih sebuah jaringan saraf pendekatan menggunakan sejumlah besar input dan output simulasi. Pendekatan ini mendekati akurasi simulator asli, tetapi 300.000 kali lebih cepat.

Setelah kecepatan verifikasi berubah, bentuk pertanyaan ilmiah juga berubah.

Dulu, menyaring 10 juta kandidat mungkin merupakan proyek yang memerlukan kekuatan komputasi selama berbulan-bulan. Sekarang, dalam waktu makan siang seorang peneliti, sistem sudah dapat menyelesaikan penyaringan awal. Eksperimen bukan lagi taruhan tunggal yang berharga, melainkan menjadi pencarian frekuensi tinggi.

Ini juga merupakan logika umum di balik sistem seperti AlphaEvolve dan AlphaChip. Model mengusulkan solusi, alat menjalankan solusi, evaluator menyaring hasil, dan hasil yang unggul masuk ke putaran berikutnya. Selama loop tertutup cukup cepat, sistem dapat terus mengeksplorasi ruang solusi yang sangat besar.

Machine learning sendiri juga akan menjadi objek dari ilmu otomatisasi ini.

Hari ini, tim peneliti besar biasanya didorong oleh manusia yang mengusulkan arsitektur baru atau metode pelatihan, menjalankan eksperimen skala kecil terlebih dahulu, lalu memilih solusi yang menjanjikan untuk diperbesar. Jeff Dean percaya bahwa tidak ada hambatan mendasar yang mencegah model mengambil alih semakin banyak tahapan ini. Manusia memberikan arahan tingkat tinggi, sementara sistem secara otomatis mengeksplorasi struktur, resep data, dan strategi pelatihan, lalu menggabungkan eksperimen yang sukses menjadi model baru.

Indikator untuk mengukur efisiensi penelitian di masa depan mungkin bukan lagi flops per detik, melainkan "berapa banyak temuan efektif yang dihasilkan per unit daya komputasi".

Hash rate memang penting. Lebih penting lagi bagaimana mengubah hash rate menjadi penemuan.

Pada tahun 2014, Jeff Dean, Geoff Hinton, dan Oriol Vinyals mengajukan sebuah makalah tentang distilasi pengetahuan. Saat ini, distilasi pengetahuan telah menjadi metode dasar dalam kompresi model dan transfer kemampuan. Model besar bertindak sebagai guru, mentransfer kemampuannya ke model siswa yang lebih kecil, lebih cepat, dan lebih murah.

Makalah yang kemudian berdampak luas ini, pada saat itu ditolak oleh NeurIPS.

Seorang reviewer berpendapat bahwa itu «tidak mungkin memberikan dampak signifikan». Pembaca yang tertarik dapat mengunjungi «Penolakan ≠ Kegagalan! Makalah-makalah berdampak tinggi ini pernah ditolak oleh konferensi top».

Jeff Dean tidak marah saat membahas pengalaman ini. Ia mengatakan bahwa para reviewer mungkin tidak memahami masalah nyata yang dihadapi dalam layanan AI berskala besar. Bagi Google, mengubah model besar yang mahal menjadi model kecil yang dapat melayani ratusan juta pengguna jelas sangat penting. Bagi para reviewer yang hanya fokus pada kebaruan teoretis, hal ini mungkin tidak tampak cukup "dasar".

Setelah makalah ditolak, tim mempublikasikannya di arXiv. Industri tetap membacanya dan mulai menggunakannya.

Hari ini, model Flash dari Gemini mampu mempertahankan kemampuan kuat dengan ukuran yang lebih kecil dan latensi yang lebih rendah, di mana distilasi merupakan salah satu metode penting di dalamnya.

Cerita ini bukan sekadar bahan motivasi yang mengatakan "ketekunan akan membawa kesuksesan". Ini menunjukkan bahwa sistem evaluasi selalu memiliki titik buta. Nilai sebuah solusi terkadang hanya bisa langsung dilihat oleh orang yang benar-benar pernah mengalami bottleneck sistem tersebut.

Ini juga penting bagi para pengusaha.

Penolakan dari pasar, investor, dan rekan sejawat mungkin berarti arah yang salah, atau mungkin saja pihak tersebut tidak berada di lokasi masalah yang sama. Perbedaannya terletak pada apakah tim memiliki cukup bukti spesifik yang menunjukkan mengapa masalah ini penting, dan mengapa sekarang bisa diselesaikan.

Jeff Dean tidak mendorong orang untuk terus bertahan secara buta. Yang ia dorong adalah: memahami masalah, terus memverifikasi, dan jangan menganggap satu tinjauan sebagai penilaian akhir dunia.

Pada akhir wawancara, Diana mengajukan pertanyaan yang penuh imajinasi.

Jika Jeff Dean yang muda, yang bergabung dengan Google pada tahun 1999, dipindahkan ke tahun 2026, apakah ia akan bergabung dengan sebuah laboratorium mutakhir atau mendirikan perusahaan bersama dua atau tiga temannya?

Jeff Dean tidak memberikan jawaban standar.

Organisasi besar memiliki struktur, platform, dan banyak rekan kerja yang hebat. Seseorang di dalamnya dapat mengakses pengetahuan yang tidak diketahuinya, serta memanfaatkan produk yang matang untuk memengaruhi pengguna global. Tim kecil lebih bebas, tetapi juga menanggung risiko yang lebih besar. Pendiri harus benar-benar percaya pada suatu masalah dan bersedia menanggung ketidakpastian selama beberapa tahun.

Kriteria penilaian yang dia berikan lebih mendasar daripada "bergabung dengan perusahaan besar atau memulai usaha sendiri".

Jika saya menyelesaikan masalah ini, dan hasil terbaik benar-benar terjadi, apakah dunia akan menjadi jelas lebih baik, atau orang-orang hanya akan berkata, “Wah, keren,” lalu berlalu?

Jika jawabannya hanya "keren", mungkin tidak sepadan dengan waktu paling berharga yang Anda investasikan.

Dia juga menekankan pentingnya rekan kerja. Cari orang-orang dengan kemampuan yang saling melengkapi, serta orang yang rendah hati, mau bekerja sama, dan menyenangkan untuk diajak bekerja sama. Masalah-masalah sulit yang sebenarnya seringkali membutuhkan kerja sama jangka panjang. Anggota tim sebaiknya masing-masing memiliki alat yang tidak dimiliki orang lain, dan terus memperluas "sabuk alat" mereka selama bekerja sama.

Ucapan ini memiliki kesederhanaan seorang insinyur lama.

Industri AI suka membahas pertumbuhan eksponensial, kecerdasan super, dan pendanaan besar. Namun, Jeff Dean akhirnya kembali menekankan tiga hal kecil: mengerjakan masalah yang benar-benar Anda pedulikan, bekerja bersama orang-orang yang Anda sukai, dan berusaha semaksimal mungkin untuk membuat dunia menjadi lebih baik.

Dalam karier Jeff Dean, ada banyak legenda yang sering diceritakan ulang.

Dia dan Sanjay Ghemawat menulis ulang sistem pencarian dalam beberapa hari, sehingga indeks masuk ke memori. Perkiraan singkat selama tiga menit tentang suara mendorong Google menciptakan TPU. MapReduce menyembunyikan paralelisme skala besar dan toleransi kesalahan dalam abstraksi terpadu. Distilasi pengetahuan berubah dari sebuah makalah yang ditolak menjadi teknologi dasar industri.

Cerita-cerita ini mudah membuat orang membayangkannya sebagai seorang jenius yang terus-menerus mendapatkan inspirasi.

Namun, dari wawancara ini, pendekatannya sebenarnya sangat konsisten.

Hitung terlebih dahulu orde besarnya. Kemudian temukan bottleneck yang sebenarnya. Selanjutnya, tantang asumsi default dan bangun abstraksi yang lebih sederhana. Terakhir, dorong iterasi sistem terus-menerus melalui pengukuran dan umpan balik.

Industri AI hari ini sedang mengalami titik balik serupa.

Model sudah cukup kuat untuk menangani tugas tingkat insinyur pemula. Selanjutnya, yang menentukan produktivitas nyata bukan hanya kecerdasan model, tetapi biaya penalaran, organisasi konteks, kualitas alat, kecepatan verifikasi, dan keandalan jangka panjang.

Agen akan semakin mirip dengan anggota tim. Namun, mereka membutuhkan spesifikasi yang jelas, keterampilan, titik pemeriksaan, evaluator, serta sistem yang mampu menoleransi kegagalan.

Peluang bagi perusahaan rintisan juga tidak akan hilang, hanya akan menjadi lebih ketat. Lebih baik jangan fokus pada hal-hal yang sudah bisa diselesaikan oleh model umum sebesar 20%, tetapi carilah masalah yang tingkat keberhasilannya masih mendekati 0% atau 1%. Di sana mungkin tersembunyi data eksklusif, evaluator profesional, model bidang sempit, atau abstraksi sistem baru.

Ketika generasi kode menjadi semakin murah, yang benar-benar mahal akan menjadi masalahnya sendiri.

Apa yang layak dilakukan? Batasan apa yang sudah usang? Perubahan apa yang baru saja melewati titik kritis? Sistem apa yang akan menjadi produk sama sekali berbeda jika dipercepat 50 kali lipat?

Jeff Dean tidak memberikan daftar peluang kepada 6.000 pengusaha. Yang ia berikan adalah cara berpikir yang lebih tahan lama.

Jangan terburu-buru mengejar jawaban paling populer.

Hitung dulu masalahnya.

Tautan referensi

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

Artikel ini berasal dari akun WeChat "Machine Heart" (ID: almosthuman2014), penulis: Panda