教導人工智慧撰寫能運作的程式碼是一回事，教導它撰寫能快速運作的程式碼，則似乎是完全不同的另一回事。
Meta AI 的 FAIR 團隊於 7 月 29 日發表的一篇新論文指出，將強化學習從程式碼正確性延伸至程式碼速度優化，存在許多標準方法無法處理的問題。禍首包括：嘈雜的計時測量、稀疏的獎勵，以及當要求演算法關注效能而非僅僅準確性時便會崩潰的演算法。
速度的問題
當你測量代碼是否產生正確的答案時，會得到一個清晰的二進制信號。但測量代碼運行速度卻很混亂。在同一台機器上兩次運行相同的代碼，會得到略有不同的執行時間。背景進程、CPU 調度、記憶體配置都會為計時測量引入雜訊。
Meta 團隊發現，通用強化策略優化（GRPO）——這是一種強化學習工具包中的標準算法——在輸入此類嘈雜的速度測量數據時會變得不穩定。
獎勵稀疏性加劇了這一問題。大多數代碼優化僅帶來邊際的速度提升，意味著模型很少獲得強烈的正面信號來告訴它「是的，這個更改讓事情變得更快」。
DMC-Optim：一個針對新問題的全新基準
為應對這些挑戰，研究人員構建了 DMC-Optim，這是一個包含校準沙盒環境和專用訓練管道的基準測試。該系統在離線模擬器中結合了正確性和執行速度的獎勵，本質上創造了一個可管理而非忽略時序噪聲的受控環境。
結果令人難以辯駁。Qwen 2.5 7B 的通過率從 18.0% 提升至 31.3%，相對改善約 74%。CWM 32B 的通過率從 30.7% 上升至 50.4%，相對增長 64%。在 LCB 基準測試中，採用此方法訓練的 CWM 32B 在 83% 的情況下勝過使用標準可驗證獎勵強化學習訓練的模型。
在計時條件劣化的情況下，當測量噪聲被故意放大時，DMC-Optim 基準表現比標準方法提升了 100% 至 200%。
該論文由來自 Meta AI 的 Pierre Chambon、Kunhao Zheng、Juliette Decugis、Benoît Sagot 和 Gabriel Synnaeve 撰寫。