
🚀 Subquadratic, FlashAttention-2 से गति में आगे 📈 Appen की रिपोर्ट के अनुसार, इसका Sparse Self-Attention कर्नेल 1 मिलियन टोकन पर 381 मिलीसेकंड में पूरा हो जाता है। FlashAttention-2 को 21.4 सेकंड लगते हैं। FLOPs में 62.8× की कमी। गुणवत्ता और पुनर्प्राप्ति में उच्च परिणाम बनाए रखता है। AI की दक्षता में एक क्रांति संभव है।
