NVIDIA đã phát hành mô hình trọng số nguồn mở mới vào thứ Năm, nhằm hỗ trợ đại lý luôn trực tuyến và tính toán biên.
Nemotron 3.5 Super VL là một mô hình lớn với 120 tỷ tham số, được thiết kế dành cho các đại lý doanh nghiệp. NVIDIA cho biết, dù có ít tham số hơn so với mô hình Nemotron 3 Ultra, nhưng độ chính xác trong các nhiệm vụ tuân thủ lệnh và sử dụng công cụ có thể tương đương.
Ở đầu bên kia, NVIDIA cũng đã ra mắt hai mô hình Bolt nhẹ. Những mô hình này được thiết kế để chạy cục bộ trên các AI PC mới (được trang bị chip NVIDIA RTX Spark) và các trạm làm việc chạy DGX Spark. Những PC hướng đến người tiêu dùng, lập trình viên và chuyên gia tri thức doanh nghiệp đang dần được đưa ra thị trường thông qua các đối tác như Microsoft và Dell.
Trong bài đăng blog giới thiệu các mô hình này, Kari Briski, Phó Chủ tịch về Mô hình và Phần mềm Mở của NVIDIA, viết: “Bất kỳ tổ chức nào muốn chạy tác nhân trên cơ sở hạ tầng NVIDIA hiện đều có thể tìm thấy một mô hình mở và được tối ưu hóa phù hợp với cấp độ của mình, mà không cần phải đánh đổi giữa khả năng và tính khả thi khi triển khai.”
NVIDIA cho biết, sau khi được tinh chỉnh thêm cho các nhiệm vụ đại diện cụ thể, Super VL thực hiện các nhiệm vụ nhanh hơn các mô hình đối thủ của Anthropic và OpenAI (Opus 5, GPT 6.1 Sol, Luna, Astra). Các nhiệm vụ này bao gồm trí tuệ tài liệu, kế toán tài chính, thí nghiệm khoa học, bồi thường bảo hiểm y tế và khả năng chống lại các cuộc tấn công bảo mật.
Mặc dù những tuyên bố như vậy rất phổ biến mỗi khi các công ty công nghệ lớn công bố mô hình mới, nhưng NVIDIA cũng liệt kê một danh sách các công ty lớn được cho là đang sử dụng Super VL, bao gồm Skydance, EY, Ramp, CrowdStrike, Perplexity và Salesforce.
Tất nhiên, đây không phải là lần đầu tiên NVIDIA công bố các mô hình trọng số mở có thể cạnh tranh với các phòng thí nghiệm tiên tiến độc quyền—những công ty này vừa là khách hàng, vừa là đối tượng đầu tư của họ. Các mô hình Nemotron của NVIDIA bao gồm các chức năng như trí tuệ nhân tạo đa mô态, suy luận, lập trình, toán học và tự động hóa doanh nghiệp.
Tuy nhiên, các phòng thí nghiệm AI sở hữu này đang ngày càng chuyển sang các nhà cung cấp chip và hệ thống AI khác ngoài NVIDIA để đáp ứng nhu cầu, chẳng hạn như Trainium của AWS, Cerebras và các chip tự phát triển.
Do đó, NVIDIA đang đầu tư mạnh vào xu hướng các doanh nghiệp mong muốn chạy các mô hình mã nguồn mở trong trung tâm dữ liệu riêng của họ. Briski viết: “Khác với các mô hình tiên tiến đóng cửa, các tổ chức có thể sau huấn luyện Super VL bằng dữ liệu riêng của mình, triển khai nó trên cơ sở hạ tầng của chính họ và sở hữu những thành quả do chính mình xây dựng.”
Tuy nhiên, với việc ra mắt các mô hình PC nhỏ hơn và có thể chạy tại chỗ này, NVIDIA cũng đang nỗ lực thúc đẩy xu hướng trợ lý AI tiêu dùng đang trong giai đoạn sơ khai. Mặc dù dường như mỗi ngày đều có các công ty khởi nghiệp và các công ty công nghệ lớn ra mắt các trợ lý AI mới, nhưng những người tiêu dùng quan tâm đến quyền riêng tư có thể không sẵn lòng để các đại lý này can thiệp sâu vào cuộc sống của họ và tiếp cận các thông tin như gia đình, sức khỏe, tài chính.
Do đó, NVIDIA mong muốn tạo ra những máy tính có thể chạy mô hình và đại lý tại chỗ, nhằm mở ra một thị trường mới để bán các PC được vận hành bởi chip của họ. Briski viết rằng người dùng PC “có thể giao phó các dự án hàng ngày…… mà không cần gửi các tải trọng này lên đám mây”.
Trong hai mô hình Bolt, Nemotron 3.5 Bolt 74B-A9B 24GB là mô hình 74 tỷ tham số, được thiết kế đặc biệt cho các tác vụ đại lý cục bộ, nhằm cân bằng giữa tốc độ và khả năng suy luận để xử lý suy luận đa bước, gọi công cụ và duyệt web. Mô hình Bolt E4B nhỏ hơn thì hướng đến các đại lý hội thoại.
NVIDIA cho biết Super VL và Bolt 74B-A9B hiện đã sẵn sàng, Bolt E4B sẽ được ra mắt vào cuối tháng này.