根據動察 Beating 監測，Tilde Research 發現，被 DeepSeek V4、Kimi K2.5、GLM-5 等頭部模型採用的優化器 Muon 存在一個隱藏缺陷：它會在訓練早期導致 MLP 層超過四分之一的神經元永久死亡。團隊據此設計了替代優化器 Aurora 並開源。一個 1.1B 模型僅使用約 100B token，就在 HellaSwag、Winogrande 等語言理解基準上與使用 36T token 訓練的 Qwen3-1.7B 表現持平。 問題出在 Muon 處理 MLP 權重矩陣時的一個數學特性上。訓練初期，部分神經元恰好收到了較弱的梯度信號。AdamW 等傳統優化器會逐參數歸一化，自然拉平這種差異；但 Muon 的正交化步驟會原封不動地傳遞弱信號。弱的神經元持續獲得弱更新，越來越沉默，形成「強者恆強」的死循環。到訓練第 500 步，已有超過四分之一的神經元實質性死亡，白白浪費了參數容量。 此前的改進版 NorMuon 通過強制拉平每行更新幅度來緩解，但代價是破壞了更新矩陣的正交性（正交化讓每步更新盡可能高效，是 Muon 的核心優勢），損失了優化精度。Aurora 將「更新均勻」和「正交性」設為聯合約束，使用交替迭代同時滿足兩者：既讓每個神經元都得到公平的學習機會，又不犧牲更新精度。 未調參的 Aurora 僅比 Muon 多 6% 計算開銷，可直接替換。在 modded-nanoGPT 優化跑分中，Aurora 以 3175 步刷新了當前最佳紀錄。Aurora 的優勢還會隨 MLP 寬度增大而放大，擴展係數越高，改善越明顯。 代碼和 1.1B 預訓練模型均已開源。
Aurora 優化器將 Muon 中的死神經元減少 25%，訓練效率提升 100 倍
MarsBit分享
精華摘要
Aurora 是 Tilde Research 推出的新優化器，可將 Muon 工具中的死神經元減少 25%，而 Muon 被 DeepSeek V4 和 Kimi K2.5 等頂級模型使用。開源的 Aurora 優化器將訓練效率提升了 100 倍。使用 Aurora 在 100B 個標記上訓練的 1.1B 模型，性能與在 36T 個標記上訓練的 Qwen3-1.7B 模型相當。這條鏈上新聞標誌著模型優化的重要進展。Aurora 在更新均勻性與正交性之間取得平衡，僅增加 6% 的開銷。它已在 modded-nanoGPT 優化中樹立新基準，並成為 2025 年最受關注的山寨幣新聞之一。
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。
虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。