[TL;DR Pilihan Harian] Yang saya perhatikan bukan seberapa mahal GPU-nya, tapi apakah GPU itu benar-benar bisa berfungsi seperti pabrik agen cerdas yang terus-menerus menghasilkan “kecerdasan” yang bisa dibebankan biayanya. Angka 38 dolar/GPU-jam yang diperkenalkan DeepSeek seperti mengungkap sedikit dari buku akuntansi paling sensitif di industri AI: masalahnya bukan lagi berapa banyak uang yang terbakar, tapi apakah setiap kartu bisa menghasilkan pendapatan sendiri. 📌 Lihat data paling mencolok terlebih dahulu: • DeepSeek mengungkap: satu klaster mampu memproses 155 triliun Token per hari. • Dengan mengonversi harga API luaran pada jam rendah, secara teoritis setiap GPU-jam menghasilkan pendapatan 38 dolar. • Dengan ekstrapolasi kasar tahunan, satu GPU dapat menghasilkan pendapatan lebih dari 330.000 dolar. Ini bukan “keuntungan”, bukan pula angka yang mudah didapat—hanya kapasitas pembebanan teoretis. Tapi ini sangat penting—ia menunjukkan bahwa jika optimasi inferensi dilakukan cukup agresif, GPU tidak harus selalu menjadi lubang biaya, tapi bisa menjadi mesin yang menghasilkan arus kas. 📌 Bagaimana 38 dolar itu dipaksakan: • DeepSeek V4.1 Flash memiliki total parameter 552 miliar, menggunakan arsitektur MoE. • Saat memproses input, sekitar 8 miliar parameter diaktifkan; saat menghasilkan output, sekitar 16 miliar parameter diaktifkan. • Penggunaan global KV Cache turun menjadi sekitar 1/4 dari generasi sebelumnya, cache jangka panjang turun menjadi sekitar 1/8. • Setiap Token membutuhkan sekitar 890 byte global KV Cache, mendukung konteks hingga 1 juta Token. Dengan kata lain, ia tidak menghasilkan uang dengan “kartu yang lebih mahal”, tapi dengan rekayasa sistem yang lebih agresif: paralelisme ahli, decoding spekulatif, penjadwalan asinkron, pemisahan Prefill/Decode, serta mempertahankan KV Cache selama mungkin. Singkatnya, dengan GPU yang sama, siapa yang bisa mengurangi perhitungan berulang, ia akan lebih dekat menjadi mesin cetak uang. 📌 Tapi jangan buru-buru menjadikan 38 dolar sebagai rata-rata industri: • DeepInfer belum sepenuhnya opensource seluruh komponen lingkungan produksi. • Sistem KV Cache, orkestrasi layanan, dan load balancing antar replika masih perlu dilengkapi dari luar. • Saat ini hanya dioptimalkan untuk DeepSeek-V4.1 Flash; model lain sulit langsung diadopsi. Jadi, mengunduh kerangka kerja ≠ menyalin pendapatan. Angka 38 dolar lebih mirip “ruang contoh dalam kondisi rekayasa puncak”, bukan rahasia kekayaan yang bisa langsung direplikasi hanya dengan beberapa GPU. 📌 Mengapa inferensi semakin kuat, tapi banyak perusahaan model tetap rugi: • Estimasi Stanford HAI / Epoch AI: pengeluaran komputasi OpenAI pada 2025 sekitar 16,3 miliar dolar, dengan 8,3 miliar untuk riset dan 8 miliar untuk inferensi. • Dibanding 2024, pengeluaran inferensi OpenAI naik dari 1,8 miliar menjadi 8 miliar dolar—sekitar 3,4 kali lipat. • Anthropic pada 2025 memiliki pengeluaran komputasi sekitar 6,8 miliar dolar, dengan 4,1 miliar untuk riset dan 2,7 miliar untuk inferensi. Inilah kebenarannya: pelatihan dan inferensi adalah dua buku akuntansi berbeda. Anda bisa menjual Token, tapi itu tidak berarti Anda tidak perlu terus membakar uang untuk membuat model generasi berikutnya; semakin banyak pengguna, semakin besar tagihan inferensi Anda. Biaya per unit turun, tapi total biaya tidak otomatis turun. Industri AI seperti membangun jalan tol—semakin banyak mobil, semakin banyak tarifnya, tapi biaya pemeliharaan, perluasan, dan bunga pinjaman juga ikut naik. 📌 Apakah hanya menjual Token bisa menjadi bisnis? Jawabannya: mungkin bisa, tapi tidak mudah. Teks ini memberikan perhitungan sensitivitas yang sangat jelas: • Jika biaya total yang harus ditanggung adalah 10 dolar/GPU-jam; • Pendapatan teoretis penuh adalah 38 dolar/GPU-jam; • Maka hanya perlu mencapai sekitar 26,3% output pembebanan efektif untuk menutupi biaya. • Jika output pembebanan efektif mencapai 50%, pendapatan per jam sekitar 19 dolar, setelah dikurangi 10 dolar biaya, tersisa 9 dolar. Model ini menarik, tapi kenyataannya tidak romantis. Throughput, konkurensi, latensi, struktur pelanggan, lalu lintas puncak, dan waktu idle akan menggerogoti keuntungan yang dibayangkan. Belum lagi, saat perang harga terjadi, sebagian keuntungan efisiensi seringkali diserahkan kepada pelanggan. 📌 CoreWeave juga menunjukkan sisi lain yang sangat nyata: • Pendapatan Q2 2026: 2,575 miliar dolar, tumbuh sekitar 112% secara tahunan. • EBITDA disesuaikan: 1,51 miliar dolar, margin 59%. • Tapi di bawah GAAP tetap rugi bersih 626 juta dolar. • Penyusutan dan amortisasi kuartal ini: 1,393 miliar dolar; bunga bersih: 640 juta dolar. Lihat? Bisnis kekuatan komputasi bukan “ada pendapatan = ada keuntungan”. GPU menyusut, ekspansi bergantung pada pembiayaan, dan bunga seperti bayangan yang selalu mengikuti Anda. Mendapatkan laba kotor tidak sama dengan mempertahankan laba bersih. 📌 Lapisan aplikasi lebih memalukan: permintaan naik, tapi keuntungan tidak selalu mengikuti: • Cursor hingga kuartal Januari 2026 memiliki margin kotor hingga -23%; jika semua biaya inferensi pengguna gratis dimasukkan ke dalam biaya, sekitar -31%. • https://t.co/RxWvQzBAAu mengajukan perlindungan kebangkrutan meski masih memiliki sekitar 12 juta pengguna aktif bulanan; pendapatan Agustus 2026: 5,3 juta dolar, tapi rugi bulanan tetap 8-9 juta dolar. • Hanya dalam delapan bulan pertama tahun 2026, https://t.co/RxWvQzBAAu menghabiskan 56,1 juta dolar untuk kekuatan komputasi—sekitar 45% dari biaya operasional. • Di sisi lain, Midjourney pada 2023 menghasilkan pendapatan jauh lebih dari 2 miliar dolar dan tetap menguntungkan. Sama-sama AI Native, nasibnya sangat berbeda. Alasannya tidak rumit: tidak cukup hanya “menggunakan AI” untuk otomatis membentuk model bisnis—kuncinya adalah apakah nilai tugasnya bisa menutupi biaya inferensi dan operasional. 📌 Peluang lebih besar mungkin ada di Agent: • Menlo Ventures memperkirakan pengeluaran konsumen global untuk AI pada 2026 telah mencapai 40 miliar dolar—tiga kali lipat dari 12 miliar dolar pada 2025. • Tapi tingkat penggunaan AI oleh orang dewasa AS hanya naik dari 61% menjadi 64%. Artinya: pengguna baru tidak meledak—yang meledak adalah pengguna lama yang menggunakan AI lebih dalam dan membayar lebih banyak. Pasar mulai bertaruh bukan hanya pada jumlah obrolan, tapi pada berapa banyak tugas harian yang bisa dilakukan AI untuk Anda. Email, pembelian, penjadwalan, operasi perangkat lunak, koordinasi lintas layanan—ini adalah tempat di mana Agent benar-benar bisa memperbesar konsumsi Token. Namun, saya tetap harus menuangkan air dingin: lebih banyak Token tidak sama dengan bisnis yang lebih baik. Jika sebuah produk Agent menghasilkan 20 dolar per bulan tapi menghabiskan 30 dolar untuk model dan alatnya, maka ia hanya membantu upstream mempertahankan GPU—tidak mempertahankan dirinya sendiri. Penilaian saya sederhana: 1. Angka 38 dolar/GPU-jam menunjukkan bahwa bisnis inferensi AI “mungkin bisa berjalan”, dan nilai optimasi teknis sangat diremehkan. 2. Tapi dari “bisa dibebankan” menuju “bisa menguntungkan”, ada empat tembok: tingkat pemanfaatan, kekuatan penetapan harga, biaya modal, dan nilai produk. 3. Yang benar-benar bisa melewati siklus bukanlah yang paling ahli membakar kartu, tapi yang paling ahli mengubah Token menjadi hasil tugas nyata.Jika di masa depan setiap Agent bekerja, membelanjakan, bernegosiasi, dan menjalankan proses untuk manusia, maka masalahnya bukan lagi "Berapa harga Token ini?", melainkan—berapa banyak nilai yang diciptakan oleh kecerdasan saya untuk Anda? Inilah buku catatan yang paling saya perhatikan.