ChainThink сообщает, 5 августа стартап в области AI-агентов Pokee AI выпустил Pokee-Isaac 28B с общим количеством параметров модели 28 миллиардов и окном контекста до 10 миллионов токенов, что в 10 раз превышает предел в около 1 миллиона токенов у основных моделей.
По результатам собственного тестирования Isaac демонстрирует стабильный результат около 95 баллов в тесте RULER на длинных текстах в диапазоне от 256 000 до 4 000 000 токенов; даже при увеличении до 10 000 000 токенов результат остается на уровне 93,3.
Остальные пять контрольных моделей не вернули рабочих результатов при объеме от 2 миллионов токенов.
Pokee приписывает эту способность собственной архитектуре «не исключительно Decoder-only», однако технический отчет не раскрывает конкретную архитектуру, механизм внимания и схему использования видеопамяти, поэтому внешние наблюдатели пока не могут оценить способ ее реализации.
Pokee AI была основана в 2024 году Чжу Чжэцином, бывшим руководителем по применению усиленного обучения в Meta, и привлекла 12 миллионов долларов США в серии seed-инвестиций с участием Point72 Ventures, а также Qualcomm Ventures и Samsung NEXT.