Microsoftは、800億のアクティブパラメーターを備えた2.8兆パラメーターのエキスパート混合モデルMAI Base 2の事前学習を完了しました。この38日間の学習は、50兆トークンを用いて16,000台のNvidia GB200 GPUを活用し、ディスティレーションなしで実施されました。大手テック企業は、主権的な最前線の重みを構築しています。