SkyPilot Meluncurkan Layanan Code Sandbox dengan Pengurangan Biaya 90%

ME AI Berita, menurut pemantauan Beating, manajer sumber daya AI open-source SkyPilot telah meluncurkan layanan sandbox eksekusi kode bernama SkyPilot Sandboxes, yang memungkinkan perusahaan menjalankan kode yang dihasilkan AI secara aman di kluster server cloud mereka sendiri (Kubernetes). Layanan ini memungkinkan perusahaan mengendalikan sumber daya komputasi secara mandiri tanpa perlu mengirimkan kode yang berisi prompt sensitif dan data rahasia ke penyedia sandbox pihak ketiga, dengan satu kluster mampu menjalankan lebih dari 50.000 lingkungan sandbox yang terisolasi secara bersamaan. Dibandingkan dengan sandbox yang dikelola pihak ketiga, SkyPilot Sandboxes mengurangi latensi kesiapan eksekusi perintah sekitar 20%. Melalui mekanisme "warm pool" yang menjaga kontainer tetap siap, waktu yang dibutuhkan untuk membuat sandbox dan menjalankan perintah pertama dalam kondisi umum hanya 1,0 detik, lebih baik daripada Modal yang membutuhkan 1,2 detik. Karena layanan ini berjalan langsung di jaringan cloud lokal perusahaan, pengguna di wilayah Asia-Pasifik dapat sepenuhnya menghindari latensi transmisi data lintas Pasifik, sehingga meningkatkan kecepatan respons hingga tingkat lokal. Dari segi biaya operasional, karena tidak perlu membayar premi penyedia pihak ketiga, SkyPilot Sandboxes 4 hingga 10 kali lebih murah daripada model terkelola. Dalam skenario besar dengan menjalankan 50.000 sandbox secara bersamaan, layanan terkelola pihak ketiga mengenakan biaya sekitar $16.610 hingga $19.030 per jam; jika SkyPilot digunakan untuk menerapkan sandbox di server cloud umum milik perusahaan sendiri, biaya per jam turun menjadi $4.650 (pengurangan biaya 75%); jika lebih lanjut diterapkan di server murah seperti AWS t4g.medium yang cocok untuk tugas bersifat intermiten, biaya per jam dapat turun menjadi $1.680, hampir 90% lebih murah dibanding layanan terkelola. Selain itu, sandbox mendukung integrasi dengan SkyPilot Key Manager, sehingga kredensial yang dibutuhkan saat runtime dapat disuntikkan langsung, menghindari risiko kebocoran karena hardcoding. Ketika perusahaan melatih model AI yang mampu menulis kode (misalnya pelatihan reinforcement learning), mereka perlu menjalankan ribuan kode yang baru ditulis oleh AI dan belum diverifikasi dalam waktu singkat untuk scoring. Dengan menerapkan kluster sandbox langsung di server fisik yang dekat dengan GPU, waktu transmisi data dapat dikurangi secara signifikan, memperpendek siklus pelatihan model dan menurunkan biaya bandwidth jaringan. Layanan ini kini telah membuka pendaftaran uji coba terbatas awal, dan repositori resmi proyek juga menyediakan contoh pelatihan lengkap yang sesuai. (Sumber: BlockBeats)