Mensagem da ChainThink, 5 de agosto: a empresa de IA Agent Pokee AI lançou o Pokee-Isaac 28B, com um total de 28 bilhões de parâmetros e uma janela de contexto de 10 milhões de tokens, aproximadamente 10 vezes o limite de 1 milhão de tokens dos modelos principais.
Segundo seus próprios testes, o Isaac manteve uma pontuação em torno de 95 na avaliação RULER de textos longos, entre 256 mil e 4 milhões de tokens; após atingir 10 milhões de tokens, a pontuação permaneceu em 93,3.
Os outros cinco modelos de referência não retornaram resultados válidos a partir de 2 milhões de tokens.
Pokee atribui essa capacidade à sua arquitetura "não apenas Decoder-only" desenvolvida internamente, mas o relatório técnico não divulga a arquitetura específica, os mecanismos de atenção nem as soluções de memória gráfica, tornando impossível para o público externo avaliar sua implementação.
Pokee AI foi fundada em 2024 por Zhu Zheqing, ex-responsável por aprendizado por reforço de aplicativos no Meta, e recebeu uma rodada semente de 12 milhões de dólares liderada pela Point72 Ventures, com participação da Qualcomm Ventures e Samsung NEXT, entre outras.