報道によると、OpenAIがリリース予定のAstraモデルは、ループ型トランスフォーマーとしても知られるリカレントdepthアーキテクチャを採用しています。
一般的Transformerでは、各トークンを生成するごとに固定の層を通過するのに対し、Astraは同じ情報が同一の層を複数回通過し、複数の計算を経て出力します。字節跳動は昨年、同様のアプローチを公開しています。
SeedチームがリリースしたOuroは、Transformer層のグループをループさせて実行するLooped Language Modelであり、より多くの計算をモデル内部に組み込むことで、小さなモデルが推論計算量を増やすことで大きなモデルに近い効果を実現します。
このアーキテクチャはセキュリティ上の懸念をもたらします。一部の推論は内部の隠れた状態で行われ、人間は完全なテキスト記録を確認できず、思考チェーンを通じてモデルが規則違反していないかをチェックすることがより困難になります。
OpenAIはこれにより、Astraがrecurrent depthを使用できる範囲を制限し、読みやすい思考チェーンを維持するとともに、追加のCoTモニタリングを導入する予定です。