SkyPilot запускает сервис Code Sandbox с снижением затрат на 90%

ME AI Новость: согласно мониторингу Beating, открытый менеджер ресурсов ИИ SkyPilot запустил сервис песочниц для выполнения кода — SkyPilot Sandboxes, позволяющий компаниям безопасно запускать код, сгенерированный ИИ, на собственных уже существующих кластерах облачных серверов (Kubernetes). Сервис позволяет компаниям полностью контролировать вычислительные ресурсы, не передавая код, содержащий конфиденциальные промпты и данные, сторонним провайдерам песочниц. Один кластер может одновременно запускать более 50 000 изолированных песочниц. По сравнению с сторонними хостинговыми песочницами, SkyPilot Sandboxes сокращает задержку готовности к выполнению команд на около 20%. Благодаря механизму «теплого пула», при котором контейнеры заранее остаются в состоянии ожидания, время создания песочницы и выполнения первой команды в типичных условиях составляет всего 1,0 секунды — лучше, чем у конкурента Modal (1,2 секунды). Поскольку сервис работает непосредственно в локальной облачной сети компании, пользователи в Азиатско-Тихоокеанском регионе полностью избегают задержек, связанных с передачей данных через Тихий океан, и достигают локального уровня скорости ответа. В плане затрат, поскольку не требуется платить надбавку стороннему провайдеру, SkyPilot Sandboxes дешевле хостинговых решений в 4–10 раз. При одновременном запуске 50 000 песочниц в масштабных сценариях сторонние хостинговые сервисы взимают около 16 610–19 030 долларов в час; если использовать SkyPilot для развертывания песочниц на собственных универсальных облачных серверах компании, стоимость снизится до 4650 долларов в час (снижение на 75%); при дальнейшем развертывании на более дешевых серверах, таких как AWS t4g.medium, подходящих для прерывистых задач, стоимость может упасть до 1680 долларов в час — почти на 90% дешевле, чем у хостинговых решений. Кроме того, песочницы поддерживают интеграцию с менеджером ключей SkyPilot: необходимые учетные данные могут напрямую внедряться во время выполнения, исключая риск утечки из-за жесткого кодирования. Когда компании обучают модели ИИ, способные писать код (например, с использованием обучения с подкреплением), им необходимо за очень короткое время запускать тысячи только что написанных ИИ и не проверенных кодов для оценки. Прямое развертывание кластера песочниц на физических серверах, расположенных рядом с GPU, эффективно сокращает время передачи данных, значительно сокращает цикл обучения модели и снижает затраты на сетевой трафик. Сервис уже открыл предварительную заявку на ограниченное тестирование, а официальный репозиторий проекта предоставляет полные примеры обучения. (Источник: BlockBeats)