
🚀 Subquadratic, FlashAttention-2’den hız açısından üstünlük sağlıyor 📈 Appen raporu, Sparse Self-Attention çekirdeğinin 1 milyon token için 381 ms sürede işlem yaptığını ortaya koyuyor. FlashAttention-2 ise 21,4 saniye sürüyor. FLOPs’te 62,8 katlık azalma. Yüksek kalite ve geri kazanım performansını koruyor. Yapay zekanın verimliliğinde bir devrim mümkün.
