Amazon Web Services, raksasa komputasi awan yang menjadi tulang punggung sebagian besar internet, sedang melakukan sesuatu yang terdengar hampir kuno bagi perusahaan bernilai triliunan dolar: meminta insinyurnya untuk mematikan komputer yang tidak mereka gunakan.
Direktif ini menargetkan instance EC2 yang tidak aktif, server virtual yang membentuk tulang punggung infrastruktur cloud AWS. Dengan beban kerja AI yang mengonsumsi kapasitas GPU dengan laju yang semakin cepat, bahkan penyedia cloud terbesar di dunia pun merasakan tekanan.
Skala masalah limbah
Angka-angka tersebut menggambarkan ketidakefisienan yang luar biasa. Sekitar 65% instans EC2 mempertahankan pemanfaatan CPU rata-rata di bawah 20% dalam jendela pengukuran 30 hari.
Alat Compute Optimizer dari AWS telah ditingkatkan untuk mendeteksi server hantu ini. Sekarang alat ini menganalisis pemanfaatan CPU dan I/O jaringan selama periode tinjauan 14 hari, serta menandai instance di mana CPU puncak tetap di bawah 5% dan lalu lintas jaringan sangat kecil.
CEO Amazon Andy Jassy mengungkapkan bahwa AWS menambahkan kapasitas daya lebih dari 3,8 gigawatt pada tahun lalu. Sebagai konteks, itu cukup listrik untuk memasok sekitar 2,8 juta rumah. Perusahaan berencana untuk menggandakan kapasitasnya pada tahun 2027.
Permintaan AI menghancurkan ekonomi
Kekurangan kapasitas memiliki pendorong yang jelas: kecerdasan buatan. Instance yang dipercepat GPU, mesin utama di balik pelatihan dan menjalankan model bahasa besar, telah menjadi sumber daya paling langka di komputasi awan.
Tekanan permintaan ini muncul langsung dalam penetapan harga. Blok Kapasitas EC2 untuk pembelajaran mesin mengalami kenaikan harga sekitar 15% pada Januari, diikuti oleh kenaikan tambahan sekitar 20% pada Juli. Dua kenaikan harga dalam enam bulan untuk layanan yang sama mencerminkan ketidakseimbangan pasokan-permintaan.
Kekurangan GPU yang berkelanjutan dilaporkan mendorong beberapa pelanggan AWS untuk mempertimbangkan pemindahan operasi ke penyedia cloud pesaing.
Apa artinya ini bagi pasar cloud
Untuk bisnis yang menjalankan beban kerja di AWS, tren harga patut dipantau dengan cermat. Dua kenaikan harga signifikan pada blok kapasitas ML dalam satu tahun menunjukkan bahwa perusahaan yang sangat bergantung pada pemrosesan AI berbasis cloud sebaiknya menyusun anggaran untuk kenaikan biaya yang berkelanjutan.
Angka 65% underutilization bukan hanya masalah AWS. Ini mencerminkan kebiasaan sepanjang industri dalam menyediakan sumber daya berlebihan, karena memulai instance baru selalu lebih mudah daripada menyesuaikan ukuran instance yang sudah ada.
Rencana Amazon untuk menggandakan kapasitas pusat datanya pada 2027 merupakan salah satu pembangunan infrastruktur terbesar dalam sejarah perusahaan. Namun, antara sekarang dan waktu itu, perusahaan tampaknya mengambil pendekatan dual: membangun kapasitas lebih banyak sekaligus memaksimalkan manfaat dari yang sudah ada.