ByteDance mở nguồn mô hình đa phương thức 3 tỷ tham số Lance được huấn luyện trên 128 GPU A100

Tin tức từ ME News, ngày 19 tháng 5 (UTC+8), theo giám sát của Beating, ByteDance Research chính thức mở nguồn mô hình đa mô-đun đồng nhất bản địa Lance. Đây là mô hình nhẹ với chỉ 3B tham số kích hoạt, hỗ trợ đồng thời việc hiểu, tạo và chỉnh sửa hình ảnh và video trong một khung duy nhất. Hiện nay, các mô hình đồng nhất phổ biến phụ thuộc mạnh vào việc tăng quy mô tham số hoặc duy trì kiến trúc văn bản-dẫn-hình ảnh, trong khi Lance đã thành công trên con đường hợp tác với năng lực tính toán cực kỳ thấp. Nhóm phát triển đã huấn luyện mô hình hoàn toàn từ đầu và giảm tổng ngân sách tính toán trong toàn bộ chu kỳ huấn luyện xuống còn 128 GPU A100. Để giải quyết xung đột nội bộ giữa các mô-đun và nhiệm vụ khác nhau, Lance thực hiện hai biện pháp cô lập cứng trong kiến trúc: - Sử dụng kiến trúc hỗn hợp chuyên gia hai luồng (MoE) để xử lý chuỗi đa mô-đun đan xen, đồng thời chia tách đường dẫn tính toán giữa hiểu và tạo trong khi chia sẻ ngữ cảnh nền tảng. - Giới thiệu mã hóa vị trí xoay nhận biết mô-đun, trực tiếp giảm nhiễu tín hiệu giữa các token thị giác phi đồng nhất của hình ảnh và video. Việc nén năng lực tính toán cực đoan không làm giảm giới hạn hiệu suất. Với chỉ 3B tham số kích hoạt, hiệu suất tạo và chỉnh sửa hình ảnh và video của Lance dẫn đầu hầu hết các bài kiểm tra chuẩn so với các mô hình đồng nhất mở nguồn hiện có, thông qua sự hợp tác đa nhiệm, Lance đã mở ra con đường chi phí thấp kết hợp giữa tạo sinh và hiểu ngữ nghĩa với tham số nhỏ. (Nguồn: BlockBeats)