SkyPilot lance un service de sandbox de code avec une réduction des coûts de 90 %

ME AI消息， selon la surveillance de Beating, le gestionnaire open source d’ressources IA SkyPilot a lancé un service de sandbox d’exécution de code, SkyPilot Sandboxes, permettant aux entreprises d’exécuter en toute sécurité le code généré par l’IA sur leurs propres clusters de serveurs cloud (Kubernetes). Ce service permet aux entreprises de conserver le contrôle total de leurs ressources de calcul, sans avoir à envoyer de code contenant des prompts sensibles ou des données confidentielles à des fournisseurs tiers de sandboxes hébergées, et un seul cluster peut exécuter simultanément plus de 50 000 environnements sandbox isolés. Par rapport aux sandboxes hébergées par des tiers, SkyPilot Sandboxes réduit la latence de préparation à l’exécution des commandes d’environ 20 %. Grâce à un mécanisme de « warm pool » qui maintient les conteneurs en état d’attente, le temps nécessaire pour créer un sandbox et exécuter la première commande n’est que de 1,0 seconde dans les cas courants, surpassant les 1,2 seconde de Modal. Étant donné que le service s’exécute directement sur le réseau cloud local de l’entreprise, les utilisateurs en Asie-Pacifique peuvent entièrement éviter la latence de transmission de données transpacifique, améliorant ainsi la vitesse de réponse à un niveau local. En termes de coûts d’exécution, en n’ayant pas à payer la surtaxe des fournisseurs tiers, SkyPilot Sandboxes est 4 à 10 fois moins cher que le modèle hébergé. Dans un scénario à grande échelle avec 50 000 sandboxes en cours d’exécution simultanée, les services hébergés tiers facturent environ 16 610 à 19 030 dollars par heure ; si SkyPilot déploie les sandboxes sur des serveurs cloud généraux appartenant à l’entreprise, le coût horaire tombe à 4 650 dollars (réduction de 75 %) ; et si les sandboxes sont déployés sur des serveurs peu coûteux adaptés aux tâches intermittentes comme les AWS t4g.medium, le coût horaire peut descendre à 1 680 dollars, soit près de 90 % de réduction par rapport aux services hébergés. De plus, le sandbox prend en charge l’intégration avec le gestionnaire de clés SkyPilot, permettant d’injecter directement les informations d’identification nécessaires à l’exécution, évitant ainsi les risques de fuite liés au codage en dur. Lorsque les entreprises entraînent des modèles IA capables d’écrire du code (par exemple, par apprentissage par renforcement), elles doivent exécuter en quelques secondes des milliers de codes récemment générés par l’IA et non vérifiés pour les évaluer. Le déploiement direct du cluster sandbox sur des serveurs physiques proches des cartes GPU permet de réduire efficacement le temps de transmission des données, raccourcissant considérablement le cycle d’entraînement du modèle et réduisant les coûts de bande passante réseau. Le service est actuellement ouvert à une demande de test limité en phase précoce, et le dépôt officiel du projet fournit également des exemples complets d’entraînement. (Source : BlockBeats)