Pokee AI、1000万トークンのコンテキストを備えた280億パラメータモデルをリリース。主流モデルの10倍の長さ

iconKuCoinFlash
共有
AI summary icon概要
AIと暗号通貨のニュースメディアMetaEraは、Pokee AIが280億パラメータのモデル「Pokee-Isaac」をリリースし、コンテキストウィンドウが1,000万トークンと、ほとんどのモデルの10倍の長さであると報告した。このモデルは元Metaのリーダーである朱哲青氏によって開発され、256K~4Mトークンのテストで95点、1,000万トークンでは93.3点を記録した。2024年に設立された同社は、Point72 Ventures、Qualcomm Ventures、Samsung NEXTからシード資金として1,200万ドルを調達した。このようなAIの進歩により、新規トークンの上場が恩恵を受ける可能性がある。
ME AI ニュース、動察 Beating の監視によると、AIエージェントスタートアップのPokee AIがPokee-Isaac 28Bをリリースしました。モデルのパラメータ総量は280億ですが、コンテキストウィンドウは1000万トークンに達しています。現在の主流モデルの上限は約100万トークンであり、Isaacはその約10倍です。Pokeeの自社テストでは、IsaacがRULERの長文テストで、25.6万トークンから400万トークンまで常に95点前後を維持しました。1000万トークンまで拡張しても得点は93.3を記録しました。他の5つの対照モデルは、200万トークン以降は有効な結果を返していません。Pokeeは、超長コンテキストを自社開発の「非純Decoder-onlyアーキテクチャ」によるものとしています。つまり、一般的な大規模モデルで広く採用されている純粋なデコーダー構造を完全に採用していないのです。ただし、技術レポートでは具体的なアーキテクチャ、アテンションメカニズム、メモリ構成は公開されておらず、外界はその実現方法をまだ評価できません。Pokee AIは2024年に、元Metaアプリ強化学習責任者の朱哲清によって設立されました。同社はPoint72 Venturesが主導する1200万ドルのシードラウンドを獲得し、Qualcomm VenturesやSamsung NEXTなどが参投しています。(出典:MLion)
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。