Ipinaglunsad ng SkyPilot ang Code Sandbox Service na may 90% pagbawas sa gastos

ME AI mensahe, ayon sa pagmamasid ng Beating, ang open-source na AI resource manager na SkyPilot ay naglunsad ng serbisyo ng code execution sandbox na SkyPilot Sandboxes, na nagpapahintulot sa mga negosyo na ligtas na patakbuhin ang code na nilikha ng AI sa kanilang sariling cloud server cluster (Kubernetes). Pinapayagan ng serbisyo ang mga negosyo na kontrolin ang kanilang sariling computing resources nang walang pangangailangan na ipadala ang code na naglalaman ng sensitibong prompts at lihim na data sa third-party sandbox provider, at maaaring patakbuhin nang sabay-sabay ang higit sa 50,000 na hiwalay na sandbox environment sa isang cluster. Kumpara sa third-party hosted sandbox, pinababawas ng SkyPilot Sandboxes ang latency sa paghanda ng command execution ng halos 20%. Sa pamamagitan ng “warm pool” mekanismo na nagpapanatili ng mga container sa estado ng paghihintay, ang oras upang lumikha ng sandbox at patakbuhin ang unang command ay nasa 1.0 segundo lamang sa karaniwang sitwasyon, mas mabuti kaysa sa 1.2 segundo ng kompetitor na Modal. Dahil direktang patakbuhin sa lokal na cloud network ng negosyo, ang mga user sa rehiyon tulad ng Asya-Pasipiko ay maaaring maiwasan ang lahat ng latency sa pagpapadala ng data sa across the Pacific, at mapabilis ang response time hanggang sa lokal na antas. Sa halaga, dahil walang kinakailangang magbayad ng premium sa third-party provider, mas mura ang SkyPilot Sandboxes ng 4 hanggang 10 beses kaysa sa hosted model. Sa malaking skala na may 50,000 na sandbox na patakbuhin nang sabay-sabay, ang third-party hosted service ay nagkakahalaga ng humigit-kumulang $16,610 hanggang $19,030 bawat oras; kung gagamitin ang SkyPilot upang i-deploy ang sandbox sa sariling pangkalahatang cloud server ng negosyo, bababa ang gastos bawat oras sa $4,650 (bawas na 75%); kung idedeploy pa ito sa mas mura at angkop na server tulad ng AWS t4g.medium para sa intermittent tasks, maaaring bumaba pa ang gastos bawat oras sa $1,680—mas mura ng halos 90% kumpara sa hosted service. Bukod dito, suportado ng sandbox ang pagkonekta sa SkyPilot Key Manager, kung saan ang mga credential na kinakailangan sa runtime ay maaaring i-inject nang direkta, upang maiwasan ang panganib ng hard-coded leakage. Kapag tinuturuan ng isang negosyo ang AI model na nakakasulat ng code (tulad ng reinforcement learning training), kailangan nilang patakbuhin nang mabilis ang libu-libong hindi pa nasusuri na code na bago lang nilikha ng AI para sa scoring. Ang pag-deploy ng sandbox cluster nang malapit sa physical server na may GPU ay epektibong binabawasan ang oras ng data transmission, at napapabilis at napapababa ang network bandwidth cost sa pagtratrain ng model. Kasalukuyang bukas na ang early limited test application, at mayroon ding available na kompletong training sample sa opisyal na repository ng proyekto. (Source: BlockBeats)