
🚀 Subquadratic превосходит FlashAttention-2 по скорости 📈 Отчет Appen показывает, что его ядро Sparse Self-Attention достигает 381 мс на 1 миллион токенов. FlashAttention-2 требует 21,4 секунды. Снижение FLOPs в 62,8 раза. Сохраняет высокое качество и точность восстановления. Революция в эффективности ИИ возможна.
