Media asing menyatakan, kos penggunaan model AI mungkin terus menurun pada separuh kedua tahun ini, dengan sebab utama ialah infrastruktur generasi baru mulai dilancarkan secara berpusat. Seiring dengan masuknya sistem Nvidia Blackwell ke tahap pelaksanaan berskala besar, kos unit bagi latihan dan inferens model sedang menurun, memperluaskan ruang bagi penyedia AI untuk menurunkan harga token.
Blackwell mula dilancarkan secara besar-besaran
Artikel tersebut menyatakan bahawa faktor utama yang mendorong penurunan kos semasa ini ialah pusat data AI yang sedang memasang sejumlah besar sistem Blackwell. Pada separuh kedua tahun ini, sistem-sistem ini akan secara beransur-ansur mencapai skala untuk melatih model baru dan mengambil alih lebih banyak tugas inferens.
Berbanding dengan platform Hopper generasi sebelumnya, pelaksanaan Blackwell lebih kompleks. Sistem berkaitan memerlukan konfigurasi pusat data baru seperti penyejukan cecair, oleh itu tempoh pemasangan lebih panjang. Namun, sekali berjaya dilancarkan, peningkatan kecekapan yang dihasilkan mungkin sangat ketara.
Output per unit meningkat dengan jelas
Institut penyelidikan SemiAnalysis membandingkan sistem Blackwell teratas Nvidia, GB300 NVL72, dengan generasi sebelumnya, Hopper HGX 200. Menurut keputusan ujian mereka, sistem lama menghasilkan 90 token setiap saat per GPU, manakala sistem baharu mencapai 6000 token, meningkatkan output sebanyak kira-kira 65 kali.
Jika dihitung berdasarkan token yang dihasilkan setiap megawatt tenaga, Hopper menghasilkan 54,000 per saat, manakala Blackwell menghasilkan 2.8 juta per saat, meningkat sekitar 50 kali ganda. Artikel tersebut berpendapat bahawa indikator ini sangat penting bagi pusat data AI dalam konteks peningkatan kos tenaga.
- GB300 NVL72: Sekitar 6000 token per saat
- Hopper HGX 200: sekitar 90 token per saat
- Pengeluaran token setiap megawatt: meningkat sekitar 50 kali
Kos per juta token diturunkan kepada 12 sen
SemiAnalysis juga membandingkan kos setiap 1 juta token yang dihasilkan. Ujian menunjukkan bahawa kos sistem Hopper adalah sekitar $4.20, manakala sistem Blackwell adalah sekitar $0.12, penurunan sebanyak kira-kira 35 kali.
Berdasarkan artikel ini, jumlah token berkos rendah akan terus meningkat seiring lebih banyak model baru beralih ke platform Blackwell untuk dilatih dan dijalankan. Penyedia model menurunkan harga bukan hanya kerana tekanan persaingan, tetapi juga kerana kos tenaga komputasi asas sendiri sedang menurun.
Pengarah eksekutif OpenAI, Sam Altman, baru-baru ini juga menyebut bahawa kos AI telah menjadi isu penting, dan menyatakan bahawa syarikat akan mencari lebih banyak cara untuk membolehkan pengguna mendapat nilai yang lebih tinggi dengan perbelanjaan yang lebih rendah.
Tanda penurunan harga telah bermula
Artikel tersebut juga mengutip indeks perbelanjaan token dari Sil token issuance Data, yang menunjukkan indeks tersebut berada pada sekitar 2.06 pada akhir Mei dan turun menjadi 1.75 pada 10 Jun. Carmen Li, CEO Sil token issuance Data, berpendapat ini mungkin menandakan bahawa harga token untuk pelbagai model AI telah bermula menurun.
Artikel tersebut berpendapat bahawa jika tren ini berterusan, perhatian pasaran terhadap "penggunaan token" mungkin berpindah dari pengurangan penggunaan kepada cara memperluaskan skala penggunaan dengan kos yang lebih rendah.