Seorang peneliti yang menulis dengan nama samaran Zeitgeist mengatakan bahwa permintaan akan memori untuk kecerdasan buatan melebihi kapasitas produksi dunia saat ini sebanyak beberapa orde. Menurutnya, saham produsen memori bisa naik sepuluh kali lipat dari level saat ini jika dinilai berdasarkan kebutuhan nyata akan komputasi, bukan berdasarkan rekor historis.
Zeitgeist memberikan contoh yang mencolok: investasi sebesar $50.000 dalam saham Micron pada September tahun lalu akan bernilai sekitar $489.000 hari ini. Menurutnya, beberapa investor takut mereka sudah melewatkan peluang tersebut, sementara yang lain takut menjadi “likuiditas yang digunakan oleh pemain besar untuk keluar dari posisi mereka.” Analis menyarankan untuk melihat peluang ini secara berbeda, melalui aritmetika permintaan memori.
Mengapa Memori Menjadi Titik Lemah
Setiap akselerator dilengkapi dengan jumlah memori berkecepatan tinggi tetap, dikenal sebagai HBM, yang tidak dapat diperluas. Menurut analis, chip H100 standar hanya membawa 80 GB, generasi lebih baru menawarkan hingga 192 GB, dan B300 masa depan akan memiliki 288 GB. Batas maksimal ini menentukan berapa banyak permintaan yang dapat ditangani oleh satu akselerator.
Beban utama tidak berasal dari bobot model itu sendiri, tetapi dari apa yang disebut KV cache: memori sesi yang bertambah seiring setiap kata yang dihasilkan. Menurut perhitungan Zeitgeist, satu sesi dengan konteks 128.000 token memerlukan sekitar 20 GB memori. Hanya empat sesi semacam itu sudah cukup untuk menghabiskan seluruh sumber daya satu H100.
Penggunaan memori per sesi tergantung pada ukuran jendela konteks, dan jumlah sesi per akselerator H100. Sumber: Zeitgeist
Untuk model canggih seperti Claude Opus 4.8 atau GPT-5.5, persyaratannya bahkan lebih tinggi: dari 40 GB hingga 100 GB untuk satu permintaan panjang. Menurut analis, inilah mengapa setiap gigabyte memori tambahan bernilai seberat emas, sementara produsen seperti Micron dan SK Hynix secara fisik tidak dapat memperluas produksi cukup cepat.
Efek Agen AI dan Kesenjangan Permintaan
Menurut Zeitgeist, pergeseran utama adalah peralihan dari chatbot sederhana ke agen AI. Sementara pertanyaan biasa hampir tidak membebani memori, agen yang secara mandiri memanggil alat dan mengakumulasi konteks dapat dengan mudah mencapai 100.000 token atau lebih. Seorang pekerja pengetahuan tunggal yang menjalankan sepuluh agen semacam itu secara paralel akan memerlukan sekitar 152 GB memori.
Penggunaan memori puncak per pekerja pengetahuan selama obrolan paralel dan sesi agen. Sumber: Zeitgeist
Analis mencatat bahwa ada sekitar 250 juta pekerja pengetahuan di seluruh dunia. Jika angka tersebut dikalikan dengan jumlah sesi agen simultan, permintaan memori tidak hanya bertambah, tetapi “meledak.” Menurut perkiraannya, dengan 100 sesi agen per orang per hari, dunia akan membutuhkan sekitar 60 kali lebih banyak memori daripada yang akan diproduksi pada tahun 2026.
Zeitgeist mengakui bahwa algoritma akan mengurangi penggunaan memori seiring waktu, dengan metode "perhatian" baru yang mampu mengurangi beban hingga empat hingga delapan kali lipat. Namun menurutnya, permintaan tumbuh jauh lebih cepat: agen menggantikan obrolan sederhana, jendela konteks membesar dari 128.000 menjadi 10 juta token, dan penggunaan AI oleh setiap pekerja bergerak dari nol menuju ratusan sesi.
Menurut analis, di dunia di mana model bahasa "ditenun ke dalam setiap aspek kehidupan sehari-hari," memori menjadi sumber daya yang kritis. Di bawah proyeksinya, perusahaan-perusahaan yang memproduksinya akan menghasilkan pendapatan yang belum pernah terjadi sebelumnya.
SK Hynix Melampaui Samsung Seiring Meningkatnya Permintaan Memori AI
Skala ledakan memori AI sudah mengubah pasar chip. Produsen memori Korea Selatan, SK Hynix, telah menggeser Samsung sebagai perusahaan terdaftar paling berharga di negara tersebut, didorong oleh posisinya yang kuat dalam chip memori bandwidth tinggi yang digunakan untuk beban kerja kecerdasan buatan.
Untuk Zeitgeist, pergeseran ini mendukung teori luas bahwa produsen memori menjadi salah satu penerima manfaat terbesar dari perlombaan infrastruktur AI. Seiring permintaan akan HBM tumbuh lebih cepat daripada pasokan, perusahaan yang mampu memproduksi chip memori canggih dapat melihat pendapatan dan valuasi meningkat tajam.