ChainThinkのメッセージ、8月5日、公式発表によると、蚂蚁百灵(inclusionAI)はLing-3.0-flashの重みを正式に公開し、BF16オリジナル版とFP8量子化版を提供します。
両バージョンともMITライセンスを採用しており、Hugging FaceおよびModelScopeにリリース済みで、SGLangまたはvLLMを通じて自己デプロイが可能です。
BF16版のサイズは約255GB、FP8版は約128GBで、体積がほぼ半分になります。FP8はより低い精度でパラメータを保存することで、ストレージとVRAMの要件を低下させます。
公式に掲載された4つのテストにおいて、FP8とBF16の最大差は1.57点です。
Ling-3.0-flashの総パラメータ数は1240億で、生成ごとに51億のパラメータが活性化され、25.6万トークンのコンテキストをサポートします。主にプログラミング、検索、深度研究、ツール呼び出しなどのAgentタスクを対象としています。
公式評価によると、このモデルは多数のベンチマークで前世代の兆パラメータモデルRing-2.6-1Tに匹敵するか、それを上回っています。
