Biaya Komputasi AI Kemungkinan Akan Naik di Tengah Meningkatnya Permintaan dan Kendala Pasokan

Saya ingin mencoba gaya penulisan minimalis: menetapkan waktu 2 jam untuk menyelesaikan satu postingan dengan cepat. Banyak masalah penting yang tidak sempat saya telusuri lebih dalam, tetapi jika tidak melakukannya, banyak topik yang saya minati akan tetap tertunda tanpa kemajuan.

Hari ini saya ingin membahas situasi daya komputasi laboratorium AI dalam beberapa tahun mendatang.

Pendapatan Anthropic tumbuh sepuluh kali lipat setiap tahun. Dengan tren ini, pendapatan Anthropic pada akhir tahun ini kemungkinan besar akan berada di antara $100 miliar hingga $150 miliar. Jika tren ini berlanjut, mereka harus mencapai pendapatan $1 triliun pada akhir tahun depan. Tentu saja, tidak ada alasan pasti yang menyatakan tren ini akan terus berlanjut—pada dasarnya ini tergantung pada kemampuan AI. Tetapi misalkan tren ini benar-benar berlanjut, kondisi apa saja yang harus terpenuhi di dunia ini?

Kapasitas komputasi laboratorium meningkat tiga kali lipat per tahun. Jika sebuah laboratorium ingin mencapai pertumbuhan pendapatan 10 kali lipat sementara kapasitas komputasi hanya meningkat tiga kali lipat, maka tiga hal berikut harus terjadi secara bersamaan: satu, margin laba laboratorium meningkat; dua, harga kapasitas komputasi naik; tiga, laboratorium menggunakan proporsi kapasitas komputasi yang lebih besar untuk inferensi.

Pemahaman saya adalah ketiga hal ini pada dasarnya sedang terjadi: pertama, margin keuntungan Anthropic naik dari 40% pada 2025 menjadi mungkin lebih dari 80% untuk bisnis inferensi Fable tahun ini (meskipun margin keuntungan pada daya komputasi marjinal mungkin berbeda, akan dibahas lebih lanjut); kedua, harga spot daya komputasi telah naik lebih dari 40% sejak titik terendah Februari tahun ini, dan harga aktual yang harus dikeluarkan oleh laboratorium mungkin meningkat lebih besar lagi (akan dijelaskan lebih rinci nanti); ketiga, menurut data Epoch, sekitar seperempat dari pengeluaran daya komputasi OpenAI pada 2024 digunakan untuk inferensi, dan sekarang proporsi ini pasti mendekati 50%, bahkan lebih tinggi.

Laboratorium sebenarnya tidak ingin mengambil jalan ketiga (mengalokasikan semakin banyak daya komputasi untuk inferensi). Ada lelucon yang sangat tepat: makna pendapatan inferensi adalah meyakinkan investor untuk memberi Anda lebih banyak dana agar Anda bisa membeli lebih banyak daya komputasi dan melatih model yang lebih besar. Jika Anda mengalokasikan sebagian besar daya komputasi untuk inferensi, secara某种程度 Anda sedang menyatakan bahwa kemajuan AI telah terhenti—karena investasi lebih lanjut dalam pelatihan sudah tidak lagi menguntungkan, bisnis Anda pada dasarnya hanyalah penyedia layanan cloud. Berbagai laboratorium tidak sepakat dengan ini—mereka merasa model yang saat ini mereka deploy akan terlihat sangat ketinggalan dalam satu tahun, dan bisnis ini dilakukan untuk mengumpulkan kasus bisnis yang mendukung pelatihan model yang lebih cerdas di masa depan.

Jadi, tersisa dua pilihan: satu, meningkatkan margin lab; dua, harga daya komputasi menjadi lebih mahal. Jika satu atau dua lab teratas jauh lebih unggul daripada pesaing, maka pilihan pertama akan lebih signifikan. Dalam persaingan pasar, margin lab bergantung pada seberapa jauh Anda lebih baik daripada solusi terbaik berikutnya. Untuk membuat efek pertama mendominasi, margin harus mencapai lebih dari 90% pada akhir tahun depan. Menurut saya, ini cukup tidak masuk akal. Namun, saya memang merasa kemungkinan besar pendapatan lab AI akan terus tumbuh dengan kecepatan luar biasa.

Jadi, untuk menjelaskan bagaimana dunia bisa menjadi nyata dengan pendapatan yang melonjak gila-gilaan menjadi 1 triliun dolar AS pada akhir tahun depan, masih ada satu efek terakhir: harga komputasi melonjak tajam. Seperti yang saya katakan, ini sudah mulai terjadi. Jika kita melihat jenis komputasi yang benar-benar dibutuhkan oleh laboratorium, kenaikan harganya akan jauh lebih mencengangkan—mereka jelas tidak bisa mengandalkan instance spot, mereka membutuhkan jaminan keamanan untuk bobot model dan data pengguna, serta skala yang cukup besar untuk mendapatkan efisiensi dan fleksibilitas yang baik. Lihat betapa gila pasar ini: Google dan Anthropic menyewa komputasi dari SpaceX. Dilaporkan, Google menghabiskan 900 juta dolar AS per bulan untuk menyewa 110.000 GPU, yang merupakan campuran GB200 dan GB300. Dihitung, harganya sekitar dua kali lipat dari harga spot GPU tersebut. Sementara harga spot saat ini sendiri sudah 40% lebih tinggi dibanding Februari.

Saya ingin menekankan kesimpulan inti: seiring dengan semakin kuatnya model AI, nilai yang dihasilkan oleh daya komputasi yang sama juga semakin meningkat. Jika seorang insinyur perangkat lunak yang benar-benar mencapai tingkat manusia dapat berjalan pada perangkat kelas H100, berdasarkan tingkat gaji pasar insinyur perangkat lunak saat ini, sewa tahunan H100 ini seharusnya melebihi 250.000 dolar AS—15 kali harga spot saat ini.

Tentu, jika tiba-tiba ada tambahan 10 juta insinyur perangkat lunak, nilai marjinal insinyur pasti akan turun, sehingga H100 itu mungkin tidak benar-benar dapat menghasilkan pendapatan 15 kali lebih besar dari sekarang. Namun, saya sebenarnya tidak yakin apakah logika ini berlaku. Jika argumen ini diterapkan pada manusia, bukan pada AI, ini adalah "kesalahan jumlah tenaga kerja" klasik. Para ekonom secara umum percaya bahwa imigran berkeahlian tinggi dalam jangka panjang tidak akan menekan upah, karena spesialisasi dan inovasi akan meningkatkan nilai tenaga kerja. Mungkin saja guncangan pasokan tenaga kerja kali ini terlalu besar dan terlalu cepat, sehingga membuat aturan empiris ini tidak berlaku. Namun, jika kita percaya pada penilaian ekonomi standar terhadap tenaga kerja, maka nilai marjinal tenaga kerja (serta harga marjinal komputasi) seharusnya tetap berada pada tingkat yang luar biasa tinggi.

Apa yang akan terjadi di dunia ini?

Model unggulan semakin mampu mengekstrak nilai dari daya komputasi, sehingga kesulitan untuk mengejar semakin besar. Jika pada tahun 2028 rekayasa perangkat lunak sudah terotomatisasi dan harga daya komputasi meningkat 15 kali lipat dibandingkan sekarang, maka akan sangat sulit untuk bersaing dengan laboratorium terkemuka untuk mendapatkan daya komputasi tanpa pendapatan apa pun.

Jika Anda bisa melatih model terbaik dan paling efisien, margin keuntungan yang bisa Anda dapatkan akan jauh lebih tinggi daripada hari ini. Ini adalah efek Alchian-Allen: ketika biaya tetap diterapkan pada dua barang dengan kualitas berbeda, barang berkualitas tinggi menjadi lebih hemat biaya secara relatif, sehingga permintaan beralih kepadanya. Ketika harga H100 per jam naik menjadi $20, menggunakan model yang lebih lemah dan kurang efisien menjadi sangat mahal dan bodoh—karena Anda harus membakar lebih banyak token dan menjalankan lebih banyak daya komputasi mahal untuk mendapatkan hasil yang sama. Oleh karena itu, siapa pun yang bisa melatih model unggulan yang lebih hemat daya komputasi dapat mengenakan premi sangat tinggi. Karena daya komputasi dasar sudah harus dikeluarkan sebesar ini, mengapa tidak mengeluarkan sedikit lebih banyak untuk menggunakan model paling efisien yang berjalan pada daya komputasi yang sama?

Banyak aplikasi AI yang saat ini populer akan tersingkir karena harga. AI sekarang relatif murah, setidaknya lebih murah daripada tenaga manusia, sebagian karena ia belum mampu melakukan banyak hal yang bisa dilakukan oleh manusia terbaik. Suatu hari nanti hal ini tidak akan lagi berlaku. Pada saat itu, biaya membuat konten sampah berupa video pendek menggunakan GPU akan menjadi terlalu tinggi untuk layak dilakukan.

Namun, prediksi semacam ini juga memiliki kesamaan dengan kesalahan prediksi kelangkaan di masa lalu. Saya memikirkan taruhan Simon-Ehrlich: Paul Ehrlich bertaruh bahwa dalam sepuluh tahun sebelum 1990, harga sekeranjang komoditas akan naik, bukan turun. Taruhan ini terkenal dalam diskusi ekonomi populer karena dikatakan membuktikan bahwa pandangan dunia Malthusian Ehrlich dibantah—ia meremehkan peran sinyal pasar dan kecerdasan manusia dalam menghemat sumber daya langka (meskipun ada analisis yang menunjukkan bahwa jika taruhan ini dilakukan pada periode sepuluh tahun yang berbeda, Ehrlich akan menang).

Saya menduga indikator komoditas tidak cocok untuk daya komputasi, karena elastisitas pasokan daya komputasi jauh lebih rendah daripada penambangan logam, serta kemampuannya untuk menyerap guncangan permintaan besar atau mencari solusi pengganti juga jauh lebih lemah. Pertumbuhan daya komputasi sebesar 3 kali lipat per tahun diperoleh dari perkalian tiga angka berikut: 1,4 kali lipat dari hukum Moore, 1,2 kali lipat dari pembangunan pabrik wafer baru (hingga tahun 2030 dibatasi oleh pasokan peralatan EUV), dan 1,8 kali lipat dari AI yang merebut kuota wafer proses maju dari perangkat lain (poin ini akan mencapai batas sekitar tahun 2027, ketika proporsi AI terhadap wafer N3 akan naik dari 60% menjadi 86%). Salah satu dari tiga faktor pengali ini sulit lagi ditingkatkan, dan yang terakhir bahkan akan mencapai puncaknya dalam satu atau dua tahun seiring jenuhnya kuota wafer.

Saya ingin menjelaskan bahwa suatu saat di masa depan, daya komputasi akan kembali menjadi lebih murah. Suatu hari nanti, robot akan mampu mengubah pasir silika di pantai dan bijih tembaga di bawah tanah langsung menjadi komputer, dan pada saat itu, harga daya komputasi seharusnya turun mendekati tingkat biaya bahan baku dan alat. Yang sedang saya bahas sekarang hanyalah tahap saat ini—daya komputasi AI hanya tumbuh 3 kali lipat per tahun, kecepatan ini sama sekali tidak mampu mengimbangi efek peningkatan harga yang disebabkan oleh peningkatan nilai AI setiap tahunnya.

Sebagai catatan tambahan, pendapatan Anthropic tumbuh 10 kali lipat per tahun, sementara daya komputasi hanya tumbuh 3 kali lipat, yang menunjukkan bahwa bisnis model memiliki ekonomi skala yang sangat kuat. Secara logis, ini masuk akal—melatih sebuah model, Anda membayar biaya pembelajaran sekali, dan biaya ini dapat dibagi ke semua pengguna (berbeda dengan tenaga kerja manusia, yang setiap instance harus dilatih dari awal). Saya tidak ingin hidup di dunia di mana kecerdasan memiliki ekonomi skala yang sangat kuat (karena saya khawatir terjadinya konsentrasi kekuasaan). Namun, kenyataannya tampaknya memang seperti itu.

Penulis: Dwarkesh Patel, Diterjemahkan oleh Deep潮 TechFlow