Ang ChainThink ay nagpapahayag na noong Agosto 5, ang AI Agent startup na Pokee AI ay naglabas ng Pokee-Isaac 28B, na may kabuuang parameter na 28 bilyon at isang context window na 10 milyong Token, na halos 10 beses ang laki ng pangunahing modelo na 1 milyong Token.
Ayon sa kanilang sariling pagsubok, nanatili si Isaac sa paligid ng 95 puntos sa RULER long-context test mula sa 256,000 hanggang 4,000,000 tokens; at nanatili pa rin sa 93.3 puntos pagkatapos ma-max out sa 10,000,000 tokens.
Ang iba pang limang modelo na ginamit bilang kontrol ay hindi nagbigay ng magagamit na resulta mula sa 2 milyong Token pataas.
Ipinagkakaloob ni Pokee ang kakayahang ito sa kanilang sariling inimbento na “hindi pure Decoder-only architecture,” ngunit ang teknikal na ulat ay hindi inilabas ang partikular na arkitektura, mekanismo ng atensyon, at solusyon sa memorya ng GPU, kaya’t hindi pa makakapagbigay ng pagtataya ang labas tungkol sa kanilang paraan ng pagpapatupad.
Itinataguyod ang Pokee AI noong 2024 ni Zhu Zheqing, dating pinuno ng application reinforcement learning sa Meta, at nakakuha ng $12 milyon sa seed round na pinamumunuan ng Point72 Ventures, kasama ang mga investor tulad ng Qualcomm Ventures at Samsung NEXT.