個人エージェントはトークン予算の大部分を、自分自身の「誰であるか」という感覚を記憶することに使います。(私はこれをパーソナリティ税と呼びます) 「誰であるか」は主にロジスティクスです:あなたが生活しているアプリ、日記をつける場所、ランニングノートが保存されている場所などです。 キャッシュは明らかに有効な解決策ですが、無計画に実装すると逆にコストが増加する「足元の地雷」になります。 私は複数のキャッシュブレイクポイントを用いて、エージェントの推論コストを約85%削減した方法をまとめました。 その鍵となるアイデアの一つが「安定性の範囲」です:意味ではなく、何が変化するかでプロンプトを並べ替えます。 詳細はこちら:https://t.co/XJceir0kOa


