Panday na Chinese AI: Nakamit ang ganap na pagsasanay sa 1.6T-parameter na DeepSeek model sa lokal na Ascend 910C

ME AI mensahe, ayon sa pagmamasid ng Beating, isang pagsasamahan ng Shenzhen Hekou College, Harbin Institute of Technology (Shenzhen), Shenzhen Big Data Research Institute, at mga team mula sa Huawei, kasama ang collaborative team sa Shenzhen Intelligent City AI compute platform, ay nag-anunsyo ng tagumpay sa pagpapatakbo ng buong parameter post-training ng 1.6-trillion-parameter na malaking modelo na DeepSeek-V4-Pro sa isang lokal na AI compute platform. Ito ang unang pagkakataon na isang third-party organization sa buong mundo ang nakakapagtapos ng buong parameter post-training ng isang modelo na may 1.6-trillion-parameter sa isang lokal na compute platform. Kumpara sa pre-training mula sa sero, ang post-training phase (na pangunahing kumkonsulta sa supervised fine-tuning (SFT) at reinforcement learning (RL)) ay nakatuon sa pagtuturo sa modelo kung paano sundin ang mga utos at gawin ang mga partikular na gawain gamit ang mataas na kalidad na mga instruksyon at pagkakasundo sa mga preferensya ng tao. Gayunpaman, para sa isang MoE architecture model na may 1.6-trillion-parameter, ang buong parameter post-training ay nananatiling napakahirap sa kapasidad ng VRAM ng ilalim na hardware, bandwidth ng komunikasyon sa pagitan ng maraming GPU (tulad ng full-to-full communication na nag-trigger ng MoE routing), at ang katatagan ng malaking cluster. Batay sa isang Huawei Ascend 910C compute cluster na may higit sa isang libo na chip, nagtagumpay ang pagsasamahan sa pagpapabuti ng distributed hosting at load balancing strategies upang lutasin ang mga komunikasyon bottleneck. Sa loob ng higit sa 1,500 steps ng training, hindi nagkaroon ng anumang paghinto ang sistema, at ang model compute utilization (MFU) ay higit sa 30%, na tumataas ang efficiency ng mga key compute operators ng 14%, at lahat ng mga indikador ay umabot sa industrial-grade standards. Ayon sa mga pagsusuri sa industriya, ang tagumpay ng Huawei Ascend 910C cluster sa pagpapatakbo ng training sa mga modelo na may trilyon-parameter ay nagpapatotoo sa teknikal na kakayahang magamit ng lokal na AI chip sa malalim na training ng sobrang malalaking modelo. Dahil sa nakaraan, ang pangunahing pre-training para sa malalaking modelo ay nakadepende sa NVIDIA GPU clusters, ang lokal na compute ay karaniwang ginagamit lamang para sa inference o fine-tuning ng maliit na parameter. Ang tagumpay ng pagsasamahang ito ay nagtuturo na ang ekosistema ng lokal na compute ay nagsisibilis na lumipat mula sa “tanging suporta sa inference” patungo sa teknikal na loop na “nakakapagpapatakbo ng buong parameter training para sa sobrang malalaking modelo.” (Pinagmulan: MLion)