NVIDIA mở nguồn mô hình Nemotron 3 Ultra 550B với kiến trúc MoE lai Mamba-Transformer

Theo giám sát của Beating, NVIDIA chính thức mở nguồn mô hình ngôn ngữ lớn hàng đầu Nemotron 3 Ultra với 550 tỷ tham số và 55 tỷ kích hoạt vào ngày 4 tháng 6, được tối ưu hóa cho các tác vụ đại lý dài hạn như lập kế hoạch phức tạp, suy luận và gọi công cụ. Trên nền tảng đánh giá bên thứ ba Artificial Analysis, Nemotron 3 Ultra đạt điểm 48, là mô hình mở nguồn có hiệu năng mạnh nhất tại Mỹ, chỉ sau Kimi K2.6 của Yue Zhi An Mian với điểm 54. Về kiến trúc kỹ thuật, mô hình sử dụng kiến trúc chuyên gia hỗn hợp Mamba-Transformer MoE, kết hợp luân phiên các lớp mô hình không gian trạng thái Mamba-2 và lớp tự chú ý Transformer, giúp tránh điểm nghẽn bộ nhớ do bộ nhớ đệm KV tăng theo cấp số bình phương trong ngữ cảnh cực dài, hỗ trợ cửa sổ ngữ cảnh 1 triệu token với chi phí bộ nhớ cực thấp. So với các mô hình dày đặc cùng quy mô, kiến trúc hỗn hợp tăng 5 lần thông lượng và giảm 30% chi phí suy luận trong các tác vụ đại lý. Về hệ sinh thái, NVIDIA đồng thời phát hành bộ công cụ đại lý Agent Toolkit bao gồm bản đồ sắp xếp NemoClaw và runtime OpenShell. Nội dung mở nguồn bao gồm trực tiếp trọng số mô hình, bộ dữ liệu và công thức huấn luyện. Mô hình đã được triển khai trên Hugging Face, NVIDIA NIM và OpenRouter, và các nhà cung cấp dịch vụ tìm kiếm AI doanh nghiệp như Glean đã công bố tích hợp, sử dụng làm giải pháp thay thế cho các mô hình ngôn ngữ lớn đóng nguồn thương mại.