Ni-Huawei at USTC ay nagtatrabaho upang putulin ang monopoliyo ni NVIDIA, tumataas ang bilis ng komputasyon ng Ascend A3 ng 58%

ME AI mensahe, ayon sa pagmamasid ng Beating, sa malawakang pag-unlad ng MoE architecture, ang pag-train ng malalaking modelo gamit ang lokal na Ascend chip ay naging mahalagang direksyon sa pagbuo ng sariling kontroladong AI computing power. Gayunpaman, ang mga pangunahing framework para sa malalaking modelo ay karaniwang binuo sa pamamagitan ng NVIDIA CUDA ecosystem, at kapag diretso itong istransfer sa platform ng Ascend, madalas itong makakaranas ng mga hamon tulad ng hindi pantay na pag-schedule ng hardware queue at mababang paggamit ng computing power. Ang University of Science and Technology of China, Huawei, at University of Beijing ay naglunsad ng isang compiler scheduling framework na tinatawag na HyperParallel-MoE, na nakatuon sa tile-level na pag-schedule para sa natatanging hardware queue ng Ascend A3, na layunin ang paglutas sa efficiency bottleneck sa parallel scheduling ng heterogenous computing power. Ang Ascend A3 ay may dalawang uri ng core: ang AIC na responsable sa matrix multiplication, at ang AIV na nagdedeal ng vector computation at communication. Gayunpaman, sa tradisyonal na serial operator scheduling, ang dalawang uri ng core ay nagkakasalit-salitan at nag-iiba-iba sa pagkakaroon ng libreng oras. Ayon sa mga resulta ng pagsusuri, habang tinataasan ang 671B DeepSeek-style na malaking modelo sa isang 256-node cluster, ang paggamit ng AIC ay nasa 67% lamang, at 39% ng latency sa expert routing communication ay nakikita sa critical computing path. Ang tatlong pangunahing pagbabago ng HyperParallel-MoE ay: una, ang pagdisenyo ng AIV-driven unilateral write primitive na nagpapagana sa computation agad na may pagdating ng data tile, nang hindi kailangang maghintay hanggang makabuo ng buong batch; pangalawa, ang paglalapat ng dependency-aware tile task generation na nag-uunify sa abstraction ng communication at compute operators; at pangatlo, ang paggamit ng static scheduler na nagpapagana ng parehong uri ng core sa loob ng isang kernel gamit ang pre-generated task sequence, at ginagamit ang mabilis na L2 cache para i-share ang intermediate results, upang mabawasan ang latency sa pagbabalik at pagbasa sa mabagal na HBM memory. Ayon sa mga pagsusuri, sa 64-node balanced routing, ang latency ng core module na responsable sa expert computation (MoE-FFN) ay nabawasan nang humigit-kumulang 36%, na katumbas ng pagtaas ng processing speed hanggang 58% (o 1.49 hanggang 1.58 beses). Sa end-to-end system performance, ang isang step ng training ay tumataas din nang 8% hanggang 9%. Ito ay nagpapakita na ang tunay na efficiency ng Ascend ay hindi lamang nakadepende sa hardware specification, kundi mas mahalaga kung paano nakakapag-schedule ang compiler at runtime ang mga core na AIC/AIV. (Source: BlockBeats)