似たような学習結果が非常に異なる結果をもたらすという考え方は、単一の指標がいかに脆弱であるかをすでに示している。 モデルは学習中に同じように見えても、実際の動作は異なる可能性がある。 この限界はシステムレベルでも再び現れる。 モデル単体の改善だけでは、信頼できるシステムを保証できない。 現代のAI推論はもはや単一のステップではなく、構造化されたプロセスである。 小さなモデルがドラフトを生成し、 大きなモデルがそれらを検証し、 受け入れはそれらの整合性の高さに依存する。 パフォーマンスは、単一のモデルの強さだけでなく、この相互作用によって形作られる。 速度と正確性は結びついている。 より速い生成は、ドラフトがどれほど頻繁に受け入れられ、最終モデルとどれほど一貫しているかに依存する。 効率性はコンポーネント間の整合性から生まれる。 同時に、内部の一貫性は依然として課題である。 モデルは正確な出力を生成しながらも、その信念を一貫して更新できないことがある。 予測すること、更新すること、最終的に行動すること——これらは必ずしも一致しない。 これは明白なエラーではなく、ステップ間での不整合という異なる種類の失敗を生む。 推論を超えて、計算リソースの問題もある。 異なるワークロードには異なるリソースが必要であり、均一な割り当ては非効率を招く。 ルーティングと割り当てが重要になってくる。 リクエストはどこでも実行されるのではなく、適切な種類の計算リソースとマッチングされる必要がある。 これらすべてを通じて、パターンは明確である。 パフォーマンスはもはや単一のモデルによって定義されない。 それは、ドラフティング・検証・推論・割り当てがどのように組み合わさるかから生じる。 真の問いは、モデルがどれほど優れているかではなく、 システムがすべてのステップで一貫して整合性を保つかどうかに移っている。 なぜなら現代のAIにおいて、 重要となるのは出力だけでなく、その出力を生み出すプロセスだからだ。 @ritualnet