據媒體報導,OpenAI 即將發布的 Astra 模型採用了循環推理架構 recurrent depth(亦稱 looped transformer)。
與普通 Transformer 每生成一個 Token 固定穿過各層網絡不同,Astra 允許同一段資訊反覆經過同一組層,多輪計算後再輸出。字節跳動去年已公開類似路線。
其 Seed 團隊發布的 Ouro 是一種 Looped Language Model,同樣讓一組 Transformer 層循環運行,將更多計算內置於模型內部,使較小模型透過增加推理計算量接近更大模型的效果。
此架構帶來安全隱憂:部分推理發生在內部隱藏狀態,人類無法看到完整的文字記錄,更難以透過思維鏈檢查模型是否違規。
OpenAI 因此限制了 Astra 對 recurrent depth 的使用程度,保留可讀的思維鏈,並計劃加入額外的 CoT 監控。
