Nous Research mở nguồn Lighthouse Attention, đạt tăng tốc 17x trên B200

Thông báo từ AIMPACT, ngày 16 tháng 5 (UTC+8), theo giám sát của Beating, Nous Research đã mở nguồn cơ chế huấn luyện tiền xử lý ngữ cảnh dài Lighthouse Attention. Khi xử lý văn bản dài 512K trên một card B200, giải pháp này tăng tốc độ tính toán lên khoảng 17 lần so với cơ chế truyền thống, đồng thời đạt được tốc độ huấn luyện end-to-end nhanh hơn 1,4 đến 1,7 lần ở độ dài 98K. Cơ chế chú ý truyền thống cần tính toán mối quan hệ từng cặp từ, khiến tiêu thụ năng lực tính toán tăng theo cấp số bình phương khi văn bản dài ra. Lighthouse Attention áp dụng tư tưởng sàng lọc thô trước, sau đó tính toán tinh chỉnh. Nó sẽ nhanh chóng lướt qua các bản tóm tắt nén của văn bản ở các cấp độ khác nhau, điểm số hóa để chọn ra các đoạn cốt lõi, ghép thành văn bản ngắn, rồi trực tiếp giao cho bộ xử lý hiệu quả hiện có FlashAttention. Do logic sàng lọc đã được tách hoàn toàn ra khỏi lõi, các nhà phát triển không cần viết mã cấp thấp thủ công và cũng không cần thêm mục tiêu huấn luyện bổ sung. Các giải pháp tăng tốc theo hướng tương tự trước đây thường gây ra tác dụng phụ, khiến mô hình sau khi quen với việc đọc nhảy sẽ dễ mất khả năng đọc chi tiết từng từ. Để tránh bẫy này, nhóm nghiên cứu cho mô hình chạy phần lớn tiến trình bằng chế độ tăng tốc, chỉ chuyển tạm trở lại tính toán chú ý toàn phần ở cuối quá trình huấn luyện để thích nghi ngắn hạn. Trong thử nghiệm thực tế với mô hình có 530 triệu tham số và dữ liệu huấn luyện 50 tỷ Token, mô hình được huấn luyện theo cách này không chỉ rút ngắn đáng kể thời gian, mà còn đạt hiệu suất toàn diện ngang bằng hoặc thậm chí vượt trội so với phiên bản cơ sở được huấn luyện hoàn toàn bằng phương pháp truyền thống. (Nguồn: BlockBeats)