Microsoft 完成了對 MAI Base 2 的預訓練,這是一個擁有 2.8 兆參數的專家混合模型,其中活躍參數為 800 億。此次 38 天的運行使用了 16,000 顆 Nvidia GB200 GPU,處理了 50 兆個 token,且未使用任何蒸餾技術。大型科技公司正在構建主權前沿權重。
StrakyoMicrosoft 完成了對 MAI Base 2 的預訓練,這是一個擁有 2.8 兆參數的專家混合模型,其中活躍參數為 800 億。此次 38 天的運行使用了 16,000 顆 Nvidia GB200 GPU,處理了 50 兆個 token,且未使用任何蒸餾技術。大型科技公司正在構建主權前沿權重。