ME AIのニュース、動察Beatingの監測によると、深圳河套学院、哈工大（深圳）、深圳市大数据研究院および華為関連チームで構成され、深智城AI算力プラットフォームと協力する共同開発チームは、中国製AI算力プラットフォーム上で1.6兆パラメータの大規模モデルDeepSeek-V4-Proの全パラメータ後学習（Post-training）を成功裏に実行した。これは、世界で初めて第三者機関が中国製算力プラットフォーム上で1.6兆パラメータ規模のモデルの全パラメータ後学習を完了した事例である。ゼロから始める前学習（Pre-training）と比較して、後学習段階（主に監督微調SFTと強化学習RLを含む）は、高品質な指示と人間の好みの整合性を通じて、モデルに指示を遵守させ特定のタスクを実行させる点に焦点を当てる。しかし、1.6兆パラメータのMoEアーキテクチャモデルにおいて、全パラメータ後学習は、基盤ハードウェアのVRAM容量、複数GPU間通信帯域幅（MoEルーティングによって発生するフルオールトゥフル通信など）、および大規模クラスタの安定性に対して非常に厳格な要件を課す。共同開発チームは、1,000枚を超えるチップ規模の華為昇騰910C算力クラスタを基盤とし、分散処理負荷と負荷分散戦略を最適化することで、通信ボトルネックを克服した。1,500ステップ以上にわたる学習プロセス中、システムは一度も中断することなく動作し、モデル算力利用率（MFU）は30％を超え、主要な算子効率は14％向上し、すべての指標が産業レベルの運用基準を満たした。業界分析によると、華為昇騰910Cクラスタが兆パラメータ規模モデルのトレーニングで成功を収めたことは、中国製AIチップが超大規模モデルの深度トレーニングタスクを実行する技術的実現可能性を証明した。これまで大規模モデルの開発における核心的な前学習は主にNVIDIA GPUクラスタに依存しており、中国製算力は主に推論（Inference）や小パラメータ微調整タスクを担ってきた。今回の共同開発の成功は、中国製算力エコシステムが「推論のみ対応」から「超大パラメータモデルの全パラメータトレーニング対応」への技術的閉ループへ加速的に移行していることを示している。（出典：MLion）
KuCoinFlash
概要