Baidu mở nguồn mô hình ERNIE 5.5 Flash với 280 tỷ tham số

ChainCatcher đưa tin, Baidu đã mở nguồn trọng số mô hình Wenxin ERNIE-5.5-Flash-Base. Sau loạt mô hình Wenxin 4.5 vào tháng 6 năm 2025, Baidu đã sau khoảng 16 tháng mới lại mở nguồn mô hình quy mô hàng nghìn tỷ tham số; các phiên bản Wenxin 5.0 và 5.1 được phát hành trong khoảng thời gian này đều không được mở nguồn. Wenxin 5.5 Flash tập trung vào hiệu suất suy luận, với tổng số tham số 2800 tỷ, chỉ kích hoạt 140 tỷ tham số để tạo ra mỗi Token, và được huấn luyện từ đầu trên 33,5 nghìn tỷ Token. Mô hình này hỗ trợ ngữ cảnh suy luận lên đến 1 triệu Token. Baidu đã thiết kế lại cơ chế xử lý văn bản dài, trong 43 lớp mạng, 37 lớp nén mỗi 128 Token lịch sử thành một bản ghi bộ nhớ đệm, trong khi 6 lớp còn lại giữ khả năng truy vấn tinh vi nội dung gốc nhằm giảm chi phí bộ nhớ GPU và tính toán khi xử lý văn bản dài. Baidu đã tiến hành đánh giá đồng nhất với DeepSeek-V4-Flash-Base, Tencent Hy3-preview-Base và Xiaomi MiMo-V2.5-Base; trong 30 bài kiểm tra chuẩn, Wenxin 5.5 Flash đạt vị trí số một ở 24 bài. Lần này, Baidu mở nguồn mô hình Base thuần văn bản chưa qua huấn luyện sau và tinh chỉnh, chủ yếu dành cho các nhà phát triển để tiếp tục tinh chỉnh lĩnh vực, huấn luyện chỉ lệnh và học tăng cường. Baidu cho biết phiên bản Wenxin 5.5 Flash sau khi tinh chỉnh sẽ được ra mắt sau. Giấy phép lần này nghiêm ngặt hơn thế hệ trước: Wenxin 4.5 sử dụng giao thức Apache 2.0, trong khi Wenxin 5.5 Flash chuyển sang giấy phép tùy chỉnh, không cấp phép sử dụng tại Liên minh Châu Âu, Anh và Hàn Quốc; các sản phẩm hoặc dịch vụ liên quan có doanh thu liên tục vượt quá 50 triệu USD trong 12 tháng qua phải được Baidu cấp phép bằng văn bản trước khi sử dụng thương mại.