Pokee AI запускає модель 28B з контекстом 10 мільйонів токенів — у 10 разів довше, ніж у основних моделей

iconKuCoinFlash
Поділитися
AI summary iconКороткий зміст
AI-новинний портал MetaEra повідомляє, що Pokee AI запустив свою модель 28B — Pokee-Isaac — з контекстним вікном у 10 мільйонів токенів — у 10 разів довшим, ніж у більшості моделей. Розроблена колишнім лідером Meta Чжу Чжечіном, вона показує результат 95 у тестах з 256K–4M токенів і 93,3 при 10M токенах. Фірма, заснована у 2024 році, зібрала $12 мільйонів на початковому етапі фінансування від Point72 Ventures, Qualcomm Ventures та Samsung NEXT. Нові лістинги токенів можуть вигодувати від таких досягнень у галузі ШІ.
ME AI Новина: за даними моніторингу Beating, стартап у сфері AI-агентів Pokee AI випустив Pokee-Isaac 28B. Загальна кількість параметрів моделі становить лише 28 мільярдів, але вікно контексту досягає 10 мільйонів токенів. Поточний ліміт для основних моделей — близько 1 мільйона токенів, тобто Isaac майже в 10 разів перевищує цей показник. У внутрішніх тестах Pokee Isaac зберігав результати близько 95 балів у тесті RULER на довгих текстах від 256 000 до 4 мільйонів токенів. Після розширення до 10 мільйонів токенів результат залишився на рівні 93,3. Інші п’ять контрольних моделей не надавали придатних результатів вже з 2 мільйонами токенів. Pokee пояснює наддовгий контекст власною архітектурою «не лише декодера», тобто не повністю використовує поширений підхід чисто декодерних великих моделей. Однак у технічному звіті не опубліковано конкретних деталей архітектури, механізму уваги чи розв’язання для пам’яті GPU, тому зовнішній світ поки що не може зрозуміти, як це зроблено. Pokee AI було засновано у 2024 році колишнім керівником застосункового поглибленого навчання у Meta Чжу Чжечином. Компанія отримала 12 мільйонів доларів США у першому раунді фінансування, який очолив Point72 Ventures, а також участь у якому взяли Qualcomm Ventures та Samsung NEXT. (Джерело: MLion)
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.