
🚀 Subquadratic melampaui FlashAttention-2 dalam kelajuan 📈 Laporan Appen menunjukkan kernel Sparse Self-Attention mencapai 381 ms untuk 1 juta token. FlashAttention-2 mengambil masa 21,4 saat. Pengurangan FLOPs sebanyak 62,8×. Mengekalkan kualiti dan pemulihan yang tinggi. Revolusi dalam kecekapan AI adalah mungkin.
