Nous Research, Lighthouse Attention'ı açık kaynak hale getiriyor ve B200 üzerinde 17 kat hız artışı sağlıyor

AIMPACT Mesajı, 16 Mayıs (UTC+8), Beating izleme sistemine göre, Nous Research uzun bağlam ön-eğitim mekanizması Lighthouse Attention’ı açık kaynak hale getirdi. Tek bir B200 GPU ile 512K uzunluğundaki metinler işlendiğinde, bu çözüm geleneksel mekanizmalara göre yaklaşık 17 kat daha hızlı hesaplama sağlıyor ve 98K uzunluğunda 1,4 ila 1,7 kat arasında端到端 eğitim hızlanması sağlıyor. Geleneksel dikkat mekanizmaları tüm kelimelerin ikili ilişkilerini hesaplamak zorunda kalır; metin uzadıkça hesaplama maliyeti kareye çıkar. Lighthouse Attention, önce genel tarama sonra ince hesaplama yaklaşımını kullanır. Farklı seviyelerde metnin sıkıştırılmış özetlerini hızlıca tarar, puanlama yaparak temel parçaları seçer ve bunları kısa bir metne birleştirir; ardından doğrudan mevcut verimli hesaplama birimi FlashAttention’e verir. Filtreleme mantığı çekirdeğin dışına taşındığı için geliştiriciler alt seviye kod yazma zorluğundan kurtulur ve ek eğitim hedefleri eklemek zorunda kalmaz. Önceki benzer hızlandırma çözümleri sıklıkla yan etkiler yaratırdı; model, sıçramalı okuma alışkanlığı kazandıkça orijinal kelime-by-kelime okuma yeteneğini kaybederdi. Bu tuzakten kaçmak için geliştirme ekibi, modelin büyük kısmını hızlandırılmış modda eğitmesini sağladı ve sadece eğitimin sonunda kısa bir süre için geleneksel tam dikkat hesaplamasına geçiş yaptı. 530 milyon parametrelik bir model üzerinde, 50 milyar Token veriyle yapılan testlerde, bu yöntemle eğitilen model hem süreyi büyük ölçüde kısalttı hem de tamamen geleneksel yöntemle eğitilen temel versiyonun performansını eşitledi ve hatta aştı. (Kaynak: BlockBeats)