Di AWS re:Invent 2025, CEO AWS Matt Garman menyajikan data penting yang sederhana: inferensi AI sekarang menyumbang sekitar dua pertiga dari seluruh permintaan komputasi AI. Itu naik dari sekitar sepertiga pada tahun 2023.
Pelatihan adalah mengajari model untuk berpikir. Inferensi adalah benar-benar membuatnya berpikir. Industri telah menghabiskan miliaran dolar untuk mengajari model-model ini, dan sekarang pengeluaran beralih ke penerapan mereka.
Garman, yang mengambil alih sebagai CEO AWS pada Juni 2024 setelah menggantikan Adam Selipsky, menggambarkan inferensi sebagai “Lego baru” dalam komputasi. Ia menyatakan bahwa inferensi sedang menjadi blok bangunan dasar yang akan dirangkai oleh perusahaan untuk mengotomatisasi tugas, menjalankan agen AI, dan mengubah secara mendasar cara bisnis beroperasi.
Dia melangkah lebih jauh, memprediksi bahwa 80-90% nilai AI perusahaan pada akhirnya akan berasal dari agen berbasis inferensi. Bukan chatbot yang merangkum email Anda, tetapi sistem otonom yang benar-benar menyelesaikan tugas.
AWS juga menempatkan perangkat keras di balik taruhan ini. Perusahaan memperkenalkan chip Trainium3-nya di re:Invent, dirancang khusus untuk beban inferensi, bukan GPU yang dioptimalkan untuk pelatihan yang telah mendominasi berita dan laporan keuangan Nvidia.
Perubahan ini sangat penting bagi sektor penambangan kripto, yang sedang berada di tengah krisis identitasnya sendiri. Seiring margin penambangan Bitcoin menyempit setelah halving April 2024, beberapa penambang besar beralih ke penyediaan layanan AI dan komputasi berkinerja tinggi. Perusahaan-perusahaan seperti Core Scientific, Hut 8, dan lainnya telah mengalihfungsikan armada GPU dan kapasitas pusat data mereka untuk melayani beban pelatihan AI.
Tetapi jika Garman benar, dan kurva permintaan sangat condong ke arah inferensi, persyaratan perangkat keras berubah. Pelatihan membutuhkan pemrosesan paralel skala besar di sejumlah cluster GPU kelas atas yang berjalan selama berminggu-minggu atau berbulan-bulan. Inferensi membutuhkan optimasi berbeda: latensi lebih rendah, throughput lebih tinggi per permintaan, dan seringkali arsitektur chip yang sama sekali berbeda.
Bagi investor yang berasal dari dunia kripto, sinyal di sini berkaitan dengan keberlanjutan teori “pivot AI” yang telah mendukung beberapa saham penambangan. Pantau perusahaan penambangan mana yang mengumumkan kemitraan dengan penyedia cloud atau berinvestasi dalam perangkat keras yang dioptimalkan untuk inferensi. Perusahaan yang masih menawarkan akses GPU generik untuk pelatihan mungkin akan berada di sisi yang salah dari kurva permintaan yang sudah berubah.
Jaringan komputasi terdesentralisasi seperti Render, Akash, dan io.net telah memposisikan diri sebagai alternatif penyedia cloud terpusat untuk beban kerja AI. Jika permintaan inferensi tumbuh pada laju yang digambarkan Garman, protokol-protokol ini dapat mengalami peningkatan pemanfaatan, tetapi hanya jika mereka mampu menyediakan layanan latensi rendah dan keandalan tinggi yang dibutuhkan inferensi. Pelatihan dapat mentolerir gangguan jaringan. Inferensi tidak.