
🚀 Subquadratic перевершує FlashAttention-2 за швидкістю 📈 Звіт Appen показує, що його ядро Sparse Self-Attention досягає 381 мс на 1 мільйон токенів. FlashAttention-2 витрачає 21,4 секунди. Зменшення FLOPs у 62,8 разів. Зберігає високу якість та точність результатів. Революція в ефективності ШІ можлива.
