Nous Research เปิดแหล่งที่มาของ Lighthouse Attention บรรลุการเร่งความเร็ว 17 เท่าบน B200

ข้อความจาก AIMPACT เมื่อวันที่ 16 พฤษภาคม (UTC+8) ตามการติดตามของ Beating นักวิจัยจาก Nous Research ได้เปิดแหล่งรหัสกลไกการฝึกล่วงหน้าบริบทยาว Lighthouse Attention เมื่อประมวลผลข้อความความยาว 512K บน GPU B200 เพียงตัวเดียว วิธีนี้เร็วขึ้นประมาณ 17 เท่าเมื่อเทียบกับกลไกแบบดั้งเดิม และสามารถเร่งความเร็วการฝึกแบบ end-to-end ได้ 1.4 ถึง 1.7 เท่าที่ความยาว 98K กลไกการให้ความสนใจแบบดั้งเดิมต้องคำนวณความสัมพันธ์ระหว่างคำทุกคู่ เมื่อข้อความยาวขึ้น การใช้พลังการประมวลผลจะเพิ่มขึ้นแบบกำลังสอง Lighthouse Attention ใช้แนวทางการกรองแบบหยาบก่อนแล้วจึงคำนวณแบบละเอียด โดยจะทบทวนสรุปย่อของข้อความในระดับต่างๆ อย่างรวดเร็ว ให้คะแนนและเลือกชิ้นส่วนหลักมารวมเป็นข้อความสั้น จากนั้นส่งให้ตัวดำเนินการที่มีประสิทธิภาพอยู่แล้วอย่าง FlashAttention จัดการโดยตรง เนื่องจากตรรกะการกรองถูกแยกออกจากแกนหลักอย่างสมบูรณ์ นักพัฒนาจึงไม่ต้องเขียนโค้ดระดับล่างด้วยตนเองและไม่จำเป็นต้องเพิ่มเป้าหมายการฝึกเพิ่มเติม วิธีการเร่งความเร็วแบบคล้ายกันในอดีตมักมีผลข้างเคียง โดยโมเดลที่ชินกับการอ่านข้ามจะสูญเสียความสามารถในการอ่านอย่างละเอียดทีละคำไปอย่างง่ายดาย เพื่อหลีกเลี่ยงกับดักนี้ ทีมวิจัยให้โมเดลใช้โหมดเร่งความเร็วดำเนินการส่วนใหญ่ของกระบวนการฝึก และแค่สลับกลับไปใช้การคำนวณความสนใจแบบเต็มรูปแบบแบบดั้งเดิมเป็นระยะเวลาสั้นๆ ในช่วงท้ายของการฝึกเท่านั้น ในการทดลองจริงกับโมเดลขนาดพารามิเตอร์ 5.3 พันล้านและข้อมูลฝึก 50 พันล้านโทเค็น โมเดลที่ฝึกด้วยวิธีนี้ไม่เพียงแต่ลดเวลาการฝึกอย่างมาก แต่ยังสามารถทำผลงานได้เทียบเท่าหรือแม้แต่เหนือกว่าเวอร์ชันพื้นฐานที่ฝึกด้วยวิธีแบบดั้งเดิมตลอดกระบวนการ (ที่มา: BlockBeats)