AnthropicはClaude APIにベータ機能をリリースしました。開発者はメッセージストリームの任意の時点でeffortレベルを調整でき、速度、十分性、コストのバランスを取ることができます。これはエージェントシナリオに適しています。文章作成者、出典：AIBase
同じ会話の中で前半はゆったり、後半は急きょ、Anthropicは開発者がモデルに途中で「アクセルを踏む」ことができるようになりました。11月12日、Claudeを開発するこの企業はAPIにベータ機能を追加しました。開発者はメッセージストリームの任意のタイミングで「努力度」を調整でき、これはモデルが質問に答える際にどれだけのリソースを割くかのレベルを意味し、回答の充実度、応答速度、利用コストのバランスを簡単に調整できます。
シフト切り替え時に再起動せず、キャッシュでオンライン状態を維持
以前の会話では固定パラメータしか使用できませんでしたが、今では必要ありません。方法は、メッセージ列に空白のsystemメッセージを挿入し、新しいoutput_config.effortで目標レベルを指定するだけです。トップレベルの設定とすでにヒットしたプロンプトキャッシュはそのまま維持されます。ただし、この設定は過去にさかのぼって適用されません。次に新しい入力を持つユーザーのメッセージが送信された時点で初めて有効になります。すでに生成されたコンテンツは一切変更されないため、挿入する位置や次回の質問を待つタイミングを正確に計画する必要があります。
雑談からハードコアへ、一つの分かれ道
努力の度合いは、最終的にどれだけの文字を書くかだけではなく、思考の深さ、ツールを呼び出す回数、回答の構成に費やした労力もすべて影響する。典型的な使い方は、会話の前半では軽量な質問応答を行い、複雑な分析に移る瞬間にグレードを上げると、モデルが自動的に力を増す。長距離のエージェントにとって特に効率的だ——前期の検索では低グレードでトークンを節約し、本格的な推論が必要なポイントでようやくグレードを上げる。会話全体に事前に料金を支払う必要はない。AIが「状況に応じて対応する」ことを学べば、計算リソースとコストが真正に開発者の手に握られるようになる。