ByteDance mở nguồn Cola DLM: Một mô hình khuếch tán để tạo văn bản

Theo tin tức từ ME News, vào ngày 16 tháng 5 (UTC+8), theo giám sát của Beating, đội ngũ Seed của ByteDance đã mở nguồn Cola DLM. Đây là một mô hình ngôn ngữ khuếch tán tiềm ẩn liên tục, nhằm vượt qua đường dẫn cố định của các mô hình ngôn ngữ lớn trong việc sinh văn bản theo từng token từ trái sang phải, thay vào đó chuyển đổi quá trình sinh văn bản thành việc tổ chức ngữ nghĩa cấp cao trước, sau đó mới cụ thể hóa thành văn bản. Hạt nhân của Cola DLM là Text VAE + block-causal DiT. Text VAE đầu tiên ánh xạ văn bản rời rạc vào không gian tiềm ẩn liên tục, sau đó block-causal DiT học prior tiềm ẩn thông qua Flow Matching, và cuối cùng, bộ giải mã điều kiện phục hồi biến tiềm ẩn thành văn bản. Quá trình khuếch tán xử lý biểu diễn ngữ nghĩa tiềm ẩn, chứ không trực tiếp loại nhiễu ở cấp độ token. Phiên bản mở nguồn lần này là mô hình cấp 2B, cụ thể với khoảng 2,3 tỷ tham số tổng thể, trong đó DiT cốt lõi chiếm 1,8 tỷ tham số và VAE bổ sung 500 triệu tham số. Trong 8 bài kiểm tra bao gồm LAMBADA, MMLU, OBQA, HellaSwag, RACE, SIQA, SQuAD và Story Cloze, bài báo cho biết mô hình này đã đạt được hiệu suất scaling cạnh tranh với các mô hình AR/LLaDA cùng quy mô trong giao thức đánh giá sinh thống nhất, đồng thời đạt điểm trung bình cuối cùng cao nhất. Tuy nhiên, hiện tại đây vẫn chỉ là checkpoint nghiên cứu, chưa phải mô hình hội thoại sẵn sàng sử dụng. Nhà phát hành cho biết mô hình này chưa được tinh chỉnh theo chỉ lệnh hay RLHF, mục đích chính là nghiên cứu cách sử dụng khuếch tán tiềm ẩn liên tục trong sinh văn bản. Bài báo cũng trình bày các thí nghiệm ban đầu về mở rộng sang mô hình thống nhất văn bản-hình ảnh, nhưng kho lưu trữ mở nguồn lần này chỉ bao gồm đường ống văn bản. (Nguồn: BlockBeats)