
🚀 Subquadratic, FlashAttention-2-এর চেয়ে গতিতে শ্রেষ্ঠ 📈 Appen-এর রিপোর্ট অনুযায়ী, এর Sparse Self-Attention কার্নেল 1 মিলিয়ন টোকেনে 381 মিলিসেকেন্ড সময় নেয়। FlashAttention-2 সময় নেয় 21,4 সেকেন্ড। FLOPs-এ 62,8× হ্রাস। গুণগত মান এবং পুনরুদ্ধারে উচ্চ ফলাফল বজায় রাখে। একটি কার্যক্ষমতায় এআই-এর বিপ্লব সম্ভব।
