
🚀 Subquadratic، FlashAttention-2 سے رفتار میں آگے 📈 Appen کی رپورٹ کے مطابق، اس کا کرنل Sparse Self-Attention 1 ملین ٹوکنز پر 381 ملی سیکنڈ میں کام ختم کرتا ہے۔ FlashAttention-2 کو 21.4 سیکنڈ لگتے ہیں۔ FLOPs میں 62.8 گنا کمی۔ گود لینے اور معیار میں اعلیٰ نتائج برقرار رکھتا ہے۔ AI کی کارکردگی میں ایک انقلاب ممکن ہے۔
