SkyPilot lanza el servicio de sandbox de código con una reducción del 90% en costos

ME AI Noticia, según el monitoreo de Beating, el gestor de recursos de IA de código abierto SkyPilot ha lanzado el servicio de sandbox de ejecución de código SkyPilot Sandboxes, que permite a las empresas ejecutar de forma segura el código generado por IA en sus propios clústeres de servidores en la nube (Kubernetes). El servicio permite a las empresas mantener el control total sobre sus recursos de cómputo, sin necesidad de enviar código que contenga prompts sensibles y datos confidenciales a proveedores externos de sandbox alojado, y un solo clúster puede ejecutar simultáneamente más de 50.000 entornos sandbox aislados. En comparación con los sandboxes alojados por terceros, SkyPilot Sandboxes reduce la latencia de preparación para la ejecución de instrucciones en aproximadamente un 20%. Gracias al mecanismo de "pool caliente", que mantiene los contenedores en estado de espera, el tiempo para crear un sandbox y ejecutar la primera instrucción es de solo 1.0 segundo en condiciones comunes, superando al competidor Modal, que requiere 1.2 segundos. Al ejecutarse directamente en la red local en la nube de la empresa, los usuarios en regiones como Asia-Pacífico pueden eliminar por completo la latencia de transmisión de datos transpacífica, mejorando la velocidad de respuesta hasta niveles locales. En cuanto al costo de operación, al no pagar sobrecostos a proveedores externos, SkyPilot Sandboxes es entre 4 y 10 veces más económico que el modelo alojado. En escenarios a gran escala con 50.000 sandboxes ejecutándose simultáneamente, los servicios alojados por terceros cobran entre $16.610 y $19.030 por hora; si se implementan los sandboxes con SkyPilot en servidores en la nube generales propiedad de la empresa, el costo por hora se reduce a $4.650 (una reducción del 75%); si se implementan aún más en servidores económicos adecuados para tareas intermitentes como AWS t4g.medium, el costo por hora puede bajar a $1.680, casi un 90% más barato que los servicios alojados. Además, el sandbox admite la integración con el gestor de claves de SkyPilot, permitiendo inyectar directamente las credenciales necesarias durante la ejecución, evitando el riesgo de exposición por codificación dura. Cuando las empresas entrenan modelos de IA capaces de escribir código (por ejemplo, mediante aprendizaje por refuerzo), necesitan ejecutar en cuestión de segundos miles de códigos recién generados e inverificados por IA para calificarlos. Implementar directamente el clúster de sandboxes cerca de los servidores físicos con tarjetas GPU reduce eficazmente el tiempo de transmisión de datos, acortando significativamente el ciclo de entrenamiento del modelo y reduciendo los costos de ancho de banda. Actualmente, el servicio ya ha abierto solicitudes para una prueba limitada inicial, y el repositorio oficial del proyecto también proporciona ejemplos completos de entrenamiento correspondientes. (Fuente: BlockBeats)