Ang pagtuturo sa isang AI na sumulat ng code na gumagana ay isang bagay. Ang pagtuturo sa kanya na sumulat ng code na gumagana fast ay, sa tingin nila, iba’t ibang hayop.
Isang bagong papel mula sa FAIR team ng Meta AI, na inilathala noong Hulyo 29, ay nagpapakita na ang pagpapalawak ng reinforcement learning mula sa tamang code patungo sa pag-optimize ng bilis ng code ay puno ng mga problema na hindi kayang handle ng mga standard na pagkakasunod-sunod. Ang mga dahilan: malalim na pagtukoy ng oras, maliit na reward, at mga algoritmo na bumubulok kapag hiniling mo sa kanila na mag-alala tungkol sa performance, hindi lang sa akurasyon.
Ang problema sa bilis
Kapag sinusukat mo kung ang code ay nagpapakita ng tamang sagot, makakakuha ka ng malinaw na binary na signal. Ngunit ang pagsusukat kung gaano kalakas ang pagpapatakbo ng code ay magulo. Ipinapatakbo mo ang parehong code dalawang beses sa parehong machine at makakakuha ka ng kaunting iba’t ibang oras ng pagpapatakbo. Ang mga background process, CPU scheduling, memory allocation, lahat ay nagdudulot ng ingay sa mga pagsusukat ng oras.
Nakakita ang koponan ng Meta na ang Generalized Reinforcement Policy Optimization, o GRPO, isang karaniwang algoritmo sa toolkit ng reinforcement learning, ay naging hindi stable kapag binigyan ito ng mga ganitong uri ng noisy speed measurements.
Ang kakaibang pagkakatanggap ng reward ay nagpapalala sa problema. Karamihan sa mga pagpapabuti ng code ay nagdudulot ng maliit na pagpapabilis, kaya ang modelo ay kakaunti lang na nakakatanggap ng malakas na positibong signal na sabi nito, “oo, ginawa ng pagbabagong iyon ang mga bagay na mas mabilis.”
DMC-Optim: isang bagong benchmark para sa bagong problema
Upang harapin ang mga hamon na ito, nilikha ng mga siyentipiko ang DMC-Optim, isang benchmark na may calibradong sandbox environment at isang espesyal na training pipeline. Ang sistema ay nagkakaisa ng mga reward para sa kawastuhan at bilis ng pagpapatupad sa isang offline simulator, na sa pangkabuuan ay gumagawa ng isang kontroladong kapaligiran kung saan ang timing noise ay maaaring ma-manage kaysa iwanan.
Mahirap ipaglaban ang mga resulta. Ang pass rate para sa Qwen 2.5 7B ay tumataas mula sa 18.0% patungo sa 31.3%, isang halos 74% relative improvement. Kumita ang CWM 32B ng pagtaas sa pass rate mula sa 30.7% patungo sa 50.4%, isang 64% relative gain. Sa LCB benchmark, tinamaan ng CWM 32B na tinuturuan gamit ang paraang ito ang median speed comparisons 83% ng oras, kumpara sa mga modelong tinuturuan gamit ang standard reinforcement learning mula sa verifiable rewards.
Sa mga kondisyon ng pagkakamali sa oras, kung saan ang ingay sa pagsukat ay sadyang pinapalakas, ipinakita ng DMC-Optim benchmark ang pagpapabuti sa performance sa pagitan ng 100% at 200% kumpara sa mga karaniwang paraan.
Isinulat ng Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoît Sagot, at Gabriel Synnaeve, lahat mula sa Meta AI.