ベンチマークを最適化したり、エージェントアーキテクチャを過剰に複雑にすることで、タスクの難易度を回避することはできない。 多くのフレームワーク作成者は、賢明なルーティングテンプレートを通じて驚異的な精度を約束する。 しかし、最近の研究は、これがほとんど幻であることを証明している。 OfficeQAでの13,000回のエージェント実行に基づき、科学者たちはベースモデルの能力への強い依存を特定した。 異なるスキャフォールディング手法は、AIが特定のテストに合格するかどうかについて88〜93％の一致率を示した。 私はこの結論を、オープンソースソフトウェア業界全体にとって極めて重要だと考えている。 私たちはラッパーの磨き上げをやめ、モデルの基本的な推論能力に焦点を当てるべきである。 @SentientAGIの研究者@iamnamanvatsとDeep Halderによるデータは、現状の実態を私たちに見せてくれている。