Pokee AI запускає модель з 28 мільярдами параметрів та вікном контексту 10 мільйонів токенів

iconChainthink
Поділитися
AI summary iconКороткий зміст
Новини про ШІ та криптовалюту з’явилися 5 серпня, коли Pokee AI представила модель Pokee-Isaac з 28 мільярдами параметрів та контекстним вікном у 10 мільйонів токенів. Внутрішні тести показали, що Isaac набрав 95 балів у тестах RULER у діапазоні від 256K до 4M токенів і 93,3 при повній потужності. Інші моделі не впоралися після 2M токенів. Компанія використовує власну непure декодерну архітектуру. Pokee заснована у 2024 році Чжу Чжечіном, колишнім керівником Meta ARRL, і зібрала $12 мільйонів у сід-фінансуванні від Point72 Ventures, Qualcomm Ventures та Samsung NEXT. Нові лістинги токенів можуть вигодувати від таких досягнень у галузі ШІ.

ChainThink повідомляє, 5 серпня стартап у сфері AI-агентів Pokee AI випустив Pokee-Isaac 28B з загальною кількістю параметрів моделі 28 мільярдів та вікном контексту до 10 мільйонів токенів, що майже в 10 разів перевищує ліміт у 1 мільйон токенів у популярних моделях.

За результатами власного тестування, Ісаак у тесті RULER на довгі тексти постійно набирав близько 95 балів у діапазоні від 256 000 до 4 000 000 токенів; після збільшення до 10 мільйонів токенів результат залишився на рівні 93,3.

Інші п’ять контрольних моделей з 2 мільйонами токенів і більше не повернули жодного робочого результату.

Pokee приписує цю здатність власноруч розробленій архітектурі «не лише Decoder-only», але технічний звіт не розкриває конкретної архітектури, механізму уваги та схеми використання пам’яті GPU, тому зовнішній світ тимчасово не може оцінити спосіб її реалізації.

Pokee AI була заснована в 2024 році Цзю Чжечінгом, колишнім керівником застосунків з підсиленого навчання в Meta, і отримала 12 мільйонів доларів США у серії seed-інвестування, яке очолив Point72 Ventures, з участием Qualcomm Ventures та Samsung NEXT.

Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.