
🚀 Subquadratic vượt trội FlashAttention-2 về tốc độ 📈 Báo cáo của Appen cho thấy kernel Sparse Self-Attention của nó đạt 381 ms với 1 triệu token. FlashAttention-2 mất 21,4 giây. Giảm 62,8× FLOPs. Vẫn duy trì chất lượng và khả năng truy xuất cao. Một cuộc cách mạng về hiệu quả của AI là hoàn toàn có thể.
