ChainThinkのメッセージによると、8月5日、AIエージェントスタートアップのPokee AIは、パラメータ総量が280億のPokee-Isaac 28Bをリリースし、コンテキストウィンドウは1,000万トークンに達し、主流モデルの約100万トークンの上限の約10倍となる。
自社テストによると、IsaacはRULER長文テストで、25.6万から400万トークンの範囲で常に95点前後を維持し、1000万トークンまで最大限に拡張した後も得点は93.3でした。
残りの5つの対照モデルは、200万トークン以上でいずれも有効な結果を返していません。
Pokeeはこの能力を独自開発の「非純Decoder-onlyアーキテクチャ」に起因すると主張しているが、技術レポートでは具体的なアーキテクチャ、アテンションメカニズム、VRAM構成は公開されておらず、外部からはその実装方法を判断できない。
Pokee AIは2024年に、元Metaアプリ強化学習責任者である朱哲清によって設立され、Point72 Venturesがリードした1200万ドルのシードラウンドを獲得し、クアルコム・ベンチャーズやSamsung NEXTなどが参投しました。