SkyPilot ra mắt dịch vụ Code Sandbox với mức giảm chi phí lên đến 90%

ME AI tin tức, theo giám sát của Beating, công cụ quản lý tài nguyên AI mã nguồn mở SkyPilot đã ra mắt dịch vụ sandbox chạy mã SkyPilot Sandboxes, cho phép các doanh nghiệp chạy an toàn mã do AI tạo ra trên cụm máy chủ đám mây đã có của họ (Kubernetes). Dịch vụ cho phép doanh nghiệp tự chủ kiểm soát tài nguyên tính toán, không cần gửi mã chứa prompts nhạy cảm và dữ liệu bí mật đến các nhà cung cấp sandbox bên thứ ba, đồng thời một cụm có thể đồng thời chạy hơn 50.000 môi trường sandbox được cô lập. So với các sandbox được托管 bên thứ ba, SkyPilot Sandboxes giảm thời gian trễ sẵn sàng thực thi lệnh khoảng 20%. Nhờ cơ chế “warm pool” duy trì sẵn các container ở trạng thái chờ, thời gian tạo sandbox và chạy lệnh đầu tiên trong các trường hợp thông thường chỉ mất 1,0 giây, tốt hơn so với 1,2 giây của đối thủ Modal. Do dịch vụ chạy trực tiếp trên mạng đám mây nội bộ của doanh nghiệp, người dùng tại khu vực châu Á - Thái Bình Dương có thể hoàn toàn tránh độ trễ truyền dữ liệu xuyên Thái Bình Dương, nâng tốc độ phản hồi lên mức địa phương. Về chi phí vận hành, do không phải trả phí phụ trội cho nhà cung cấp bên thứ ba, SkyPilot Sandboxes rẻ hơn từ 4 đến 10 lần so với mô hình托管. Trong kịch bản quy mô lớn với 50.000 sandbox chạy đồng thời, dịch vụ托管 bên thứ ba có giá khoảng 16.610 đến 19.030 USD mỗi giờ; nếu sử dụng SkyPilot để triển khai sandbox trên máy chủ đám mây thông thường do doanh nghiệp tự sở hữu, chi phí mỗi giờ sẽ giảm xuống còn 4.650 USD (giảm 75%); nếu triển khai thêm trên các máy chủ giá rẻ phù hợp nhiệm vụ gián đoạn như AWS t4g.medium, chi phí mỗi giờ có thể giảm xuống còn 1.680 USD, rẻ hơn gần 90% so với dịch vụ托管. Ngoài ra, sandbox hỗ trợ tích hợp với trình quản lý khóa của SkyPilot, các chứng chỉ cần thiết khi chạy có thể được chèn trực tiếp, tránh rủi ro rò rỉ do mã hóa cứng. Khi doanh nghiệp huấn luyện các mô hình AI có khả năng viết mã (ví dụ: huấn luyện học tăng cường), cần chạy hàng ngàn mã do AI vừa tạo ra và chưa được xác minh trong thời gian cực ngắn để chấm điểm. Việc triển khai cụm sandbox trực tiếp trên máy chủ vật lý gần card GPU có thể giảm đáng kể thời gian truyền dữ liệu, rút ngắn đáng kể chu kỳ huấn luyện mô hình và giảm chi phí băng thông mạng. Dịch vụ hiện đã mở đăng ký thử nghiệm giới hạn sớm, và kho lưu trữ chính thức của dự án cũng cung cấp ví dụ huấn luyện đầy đủ tương ứng. (Nguồn: BlockBeats)