Mensaje de ChainThink, 5 de agosto: la empresa emergente de AI Agent Pokee AI lanzó Pokee-Isaac 28B, con un total de 28 mil millones de parámetros y una ventana de contexto de 10 millones de tokens, casi 10 veces el límite habitual de 1 millón de tokens de los modelos principales.
Según sus propias pruebas, Isaac mantuvo una puntuación de alrededor de 95 en la prueba RULER de texto largo, desde 256.000 hasta 4 millones de tokens; tras alcanzar los 10 millones de tokens, la puntuación fue de 93.3.
Los otros cinco modelos de referencia no devolvieron resultados válidos a partir de 2 millones de tokens.
Pokee atribuye esta capacidad a su arquitectura "no solo decoder" desarrollada internamente, pero el informe técnico no ha revelado la arquitectura específica, los mecanismos de atención ni los esquemas de memoria gráfica, por lo que el exterior no puede evaluar momentáneamente su implementación.
Pokee AI se fundó en 2024 por Zhu Zheqing, exresponsable de aprendizaje por refuerzo de aplicaciones en Meta, y recibió una ronda semilla de 12 millones de dólares liderada por Point72 Ventures, con participaciones de Qualcomm Ventures y Samsung NEXT, entre otros.