Pokee AI запускает модель с 28 млрд параметров и контекстом 10 млн токенов — в 10 раз длиннее, чем у основных моделей

iconKuCoinFlash
Поделиться
AI summary iconСводка
AI-новостной портал MetaEra сообщает, что Pokee AI запустила свою модель на 28 млрд параметров — Pokee-Isaac — с контекстным окном в 10 миллионов токенов, что в 10 раз длиннее, чем у большинства моделей. Разработанная бывшим лидером Meta Чжу Чжэцином, она показала результат 95 в тестах с контекстом от 256K до 4M токенов и 93,3 при 10M токенов. Компания, основанная в 2024 году, привлекла 12 миллионов долларов в виде семенного финансирования от Point72 Ventures, Qualcomm Ventures и Samsung NEXT. Новые листинги токенов могут получить выгоду от таких достижений в области ИИ.
ME AI Сообщение, согласно мониторингу Beating, стартап в области ИИ-агентов Pokee AI выпустил модель Pokee-Isaac 28B. Общее количество параметров модели составляет всего 28 миллиардов, однако окно контекста достигает 10 миллионов токенов. Текущий предел для основных моделей — около 1 миллиона токенов, то есть Isaac приближается к десятикратному значению. В собственных тестах Pokee модель Isaac демонстрировала результаты около 95 баллов на тесте RULER для длинных текстов в диапазоне от 256 000 до 4 миллионов токенов. При максимальном значении в 10 миллионов токенов балл составил 93,3. Остальные пять контрольных моделей не возвращали работоспособных результатов уже при 2 миллионах токенов. Pokee связывает сверхдлинный контекст с собственной архитектурой «не исключительно Decoder-only», то есть не полностью использует распространённую структуру чистого декодера. Однако в техническом отчёте не раскрываются конкретные детали архитектуры, механизма внимания и схемы использования видеопамяти, поэтому внешние наблюдатели пока не могут определить, как именно это достигнуто. Pokee AI была основана в 2024 году бывшим руководителем прикладного усиленного обучения в Meta Чжу Чжэцином. Компания привлекла 12 миллионов долларов США в серии seed-инвестирования под руководством Point72 Ventures, а также участвовали Qualcomm Ventures и Samsung NEXT. (Источник: MLion)
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.