AMD ra mắt nền tảng lập trình cục bộ Instinct Coder 355, với 8 card MI355X hỗ trợ hiệu năng chạy cục bộ gần đạt 98% so với các mô hình tiên tiến, mặc định không kết nối internet và dữ liệu được giữ tại chỗ.Tác giả bài viết, nguồn: AIBase
Kéo mô hình lớn từ đám mây trở lại phòng máy, AMD lần này đang nhắm đến thị trường nhà phát triển doanh nghiệp. Vào ngày 9 tháng 11 theo giờ địa phương, AMD cùng Spectro Cloud ra mắt nền tảng lập trình hỗ trợ AI dành cho doanh nghiệp Instinct Coder 355, có khả năng chạy suy luận GLM-5.3 tại chỗ và được cho là đạt tới 98% hiệu năng của các mô hình tiên tiến nhất.
Tám thẻ card hỗ trợ một máy chủ lập trình
Điểm mạnh của hệ thống này nằm ở cấu hình mạnh mẽ: lõi là 8 bộ tăng tốc AMD Instinct MI355X, kết hợp với 2 bộ xử lý EPYC 9575F "Zen 5" 64 nhân, cùng 3TB bộ nhớ DDR5-6400 và dung lượng lưu trữ SSD tổng cộng 63,36TB. Dell và Supermicro cung cấp các phiên bản máy hoàn chỉnh với các thông số khác nhau, doanh nghiệp có thể lựa chọn giải pháp phù hợp với thói quen trung tâm dữ liệu của mình. Một nút đơn có thể phục vụ tối đa 85 nhà phát triển, trong đó 50 người có thể đồng thời mã hóa trực tuyến, tương đương với việc gom gọn nhu cầu tính toán của một nhóm nhỏ vào một vỏ máy.
Mặc định không kết nối đám mây, dữ liệu được lưu tại địa phương
Điều thực sự khiến các doanh nghiệp quan tâm là tính năng “không cần ra ngoài”. Spectro Cloud đã trang bị phần mềm quản lý PaletteAI Inference Launchpad cho hệ thống này, mặc định sử dụng sức mạnh tính toán tại chỗ thay vì API trên đám mây, giúp đảm bảo mã và dữ liệu nhạy cảm không bị gửi ra ngoài. Trong bối cảnh áp lực về chi phí và tuân thủ, việc đưa quá trình suy luận trở lại trung tâm dữ liệu nội bộ đang trở thành hướng đi mới mà các tập đoàn lớn đang đầu tư — bước đi của AMD rõ ràng muốn chia sẻ một phần thị phần từ NVIDIA và các nhà cung cấp đám mây khác.