أخبار ME، 29 يوليو (UTC+8): أطلقت Moonshot AI "Kimi Linear"، وهو هيكل مختلط للانتباه الخطي، والذي تفوق لأول مرة على آلية الانتباه الكاملة في سيناريوهات السياق القصير، والسياق الطويل، وتعلم التعزيز. يتفوق نموذج 3B من معاملات التنشيط على MLA الكاملة في جميع مهام التقييم، مع تقليل استخدام ذاكرة KV بنسبة تصل إلى 75%، وتحقيق أقصى زيادة بنسبة 6 مرات في إنتاجية التفسير عند سياق 1M. وقد فتحت Moonshot AI مصدر نواة KDA، وتنفيذ vLLM، وأوزان النموذج. 🔗 اقرأ المقال الأصلي via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (المصدر: AiHot)
يطلق Moonshot Kimi Linear، وهي بنية انتباه عالية الأداء
KuCoinFlashمشاركة
ملخص
أطلقت Moonshot Kimi Linear، وهي بنية انتباه عالية الأداء، في 29 يوليو (UTC+8). يتفوق النموذج الخطي الهجين على الانتباه الكامل في سيناريوهات السياق القصير والطويل والتعلم المعزز. وباستخدام 3 مليار معلمة نشطة، يقلل من استخدام ذاكرة KV بنسبة 75% ويزيد من إنتاجية الترميز 6 مرات عند سياق 1 مليون. تم فتح مصدر نواة KDA وتنفيذ vLLM وأوزان النموذج. قد يجد المتداولون الذين يقيمون مستويات الدعم والمقاومة أن هذا التقدم يحسن نسبة المخاطرة إلى المكافأة في الاستراتيجيات الخوارزمية.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.