Pokee AI lança modelo de 28B com contexto de 10M tokens, 10 vezes mais longo que os modelos principais

iconKuCoinFlash
Compartilhar
AI summary iconResumo
A plataforma de notícias de IA e criptomoeda MetaEra relata que a Pokee AI lançou seu modelo de 28B, o Pokee-Isaac, com uma janela de contexto de 10 milhões de tokens—10 vezes mais longa que a maioria dos modelos. Desenvolvido por Zhu Zheqing, ex-líder da Meta, ele obteve 95 em testes de 256K a 4M tokens e 93,3 em 10M tokens. A empresa, fundada em 2024, arrecadou $12 milhões em financiamento semente da Point72 Ventures, Qualcomm Ventures e Samsung NEXT. Novas listagens de tokens podem se beneficiar desses avanços em IA.
ME AI Notícia, segundo monitoramento da Beating, a startup de agentes de IA Pokee AI lançou o Pokee-Isaac 28B. O modelo possui apenas 28 bilhões de parâmetros, mas uma janela de contexto de até 10 milhões de tokens. Atualmente, o limite dos principais modelos é de cerca de 1 milhão de tokens; o Isaac chega a cerca de 10 vezes esse valor. Nos testes internos da Pokee, o Isaac manteve pontuações em torno de 95 no teste RULER de textos longos, de 256 mil até 4 milhões de tokens. Após atingir os 10 milhões de tokens, a pontuação ainda foi de 93,3. Os outros cinco modelos de referência não retornaram resultados utilizáveis a partir de 2 milhões de tokens. A Pokee atribui esse contexto ultra-longo à sua própria arquitetura "não puramente decoder-only", ou seja, não adotou completamente a estrutura de apenas decodificador comum em grandes modelos. No entanto, o relatório técnico não divulgou detalhes específicos da arquitetura, mecanismo de atenção ou solução de memória gráfica, deixando a indústria temporariamente incapaz de julgar exatamente como isso foi alcançado. A Pokee AI foi fundada em 2024 por Zhu Zheqing, ex-responsável por aprendizado por reforço em aplicações no Meta. A empresa já recebeu uma rodada semente de 12 milhões de dólares liderada pela Point72 Ventures, com participação da Qualcomm Ventures e Samsung NEXT, entre outros. (Fonte: MLion)
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.