SkyPilot, %90 maliyet azalması ile Kod Sandbox hizmetini başlatıyor

ME AI Haberi, Beating İzleme'ye göre, açık kaynaklı AI kaynak yöneticisi SkyPilot, SkyPilot Sandboxes adlı bir kod çalıştırma kumandası hizmetini piyasaya sürdü. Bu hizmet, şirketlerin mevcut bulut sunucu kümelerinde (Kubernetes) AI tarafından oluşturulan kodları güvenli bir şekilde çalıştırmalarını sağlıyor. Şirketler, hassas prompt'ları ve gizli verileri içeren kodları üçüncü şahıs kumanda sağlayıcılarına göndermek zorunda kalmadan hesaplama kaynaklarını tamamen kendi kontrolü altında tutabiliyor ve tek bir küme aynı anda 50.000'den fazla izole kumanda ortamını çalıştırabiliyor. Üçüncü şahıs kumanda hizmetleriyle karşılaştırıldığında, SkyPilot Sandboxes komut yürütme hazırlık gecikmesini yaklaşık %20 kısaltıyor. "Sıcak havuz" mekanizmasıyla konteynerlerin hazır durumda tutulması sayesinde, kumanda oluşturma ve ilk komutu yürütme süresi yaygın senaryolarda yalnızca 1,0 saniye olup, rakip Modal'in 1,2 saniyesinden daha iyidir. Hizmet doğrudan şirketin yerel bulut ağı üzerinde çalıştığı için, Asya-Pasifik gibi bölgelerdeki kullanıcılar Pasifik geçişli veri aktarım gecikmelerinden tamamen kaçınabilir ve yanıt hızlarını yerel seviyeye çıkarabilir. Maliyet açısından, üçüncü şahıs sağlayıcıların ek ücretlerini ödemek zorunda kalmadığından, SkyPilot Sandboxes, kumanda hizmetlerinden 4 ila 10 kat daha ucuzdur. 50.000 kumanda aynı anda çalıştırıldığında, üçüncü şahıs kumanda hizmetleri saatte yaklaşık 16.610 ila 19.030 ABD doları ücret talep ederken; SkyPilot ile kumandaları şirketin kendi genel bulut sunucularına dağıtıldığında saatlik maliyet 4.650 ABD dolarına düşüyor (maliyet %75 azalıyor); daha da ileriye gidilip AWS t4g.medium gibi geçici görevler için uygun ucuz sunuculara dağıtıldığında saatlik maliyet 1.680 ABD dolarına iniyor ve kumanda hizmetlerine göre neredeyse %90 daha ucuz oluyor. Ayrıca, kumandalar SkyPilot anahtar yöneticisiyle entegre edilebilir ve çalıştırma sırasında gerekli kimlik bilgileri doğrudan enjekte edilebilir, böylece sabit kodlama yoluyla sızıntı riski önlenir. Şirketler, kod yazma yeteneğine sahip AI modellerini eğitirken (örneğin, pekiştirmeli öğrenme eğitimi), AI'nın hemen önce yazdığı ve doğrulanmamış binlerce kodu kısa sürede çalıştırmak zorundadır. Kumanda kümesini GPU'ların fiziksel sunucularına yakın yerlere dağıtmak, veri aktarım süresini azaltarak model eğitimi döngüsünü önemli ölçüde kısaltır ve ağ bant genişliği maliyetlerini düşürür. Hizmet şu anda sınırlı erken test başvurularına açıktır ve proje resmi deposunda ilgili tam eğitim örnekleri de mevcuttur. (Kaynak: BlockBeats)