Một trong những báo cáo đào tạo LLM tiên tiến chi tiết nhất trong nhiều năm. Microsoft vừa công bố phân tích kỹ thuật sâu về MAI-Thinking-1, mô hình tập trung vào khả năng suy luận của họ: • 35B tham số hoạt động / 1T tổng tham số MoE • Cửa sổ ngữ cảnh 256k (~600 trang tài liệu) • Được đào tạo trên cụm 8.000 GPU GB200 Phần thú vị: trọng tâm không nằm ở kiến trúc mới lạ mà ở chất lượng dữ liệu + công thức đào tạo. Đó chính là nơi lợi thế của các mô hình tiên tiến có thể đang dịch chuyển. Mô hình này không được mở nguồn, nhưng Microsoft dự định cung cấp khả năng tinh chỉnh thông qua API. Nếu các phòng thí nghiệm công nghệ lớn khác bắt đầu chia sẻ mức độ chi tiết tương tự, các nhà nghiên cứu và nhà phát triển sẽ có cái nhìn rõ ràng hơn về những yếu tố thực sự quan trọng. Bạn nghĩ lợi ích lớn tiếp theo sẽ đến từ kiến trúc tốt hơn—hay dữ liệu và quy trình đào tạo tốt hơn?