Lumunsad ang Pokee AI ng 28B Model na may 10M Token Context, 10x na mas mahaba kaysa sa mga pangunahing model

iconKuCoinFlash
I-share
AI summary iconSummary
Ang AI + crypto news outlet na MetaEra ay nagrereport na ang Pokee AI ay naglunsad ng kanilang 28B model, ang Pokee-Isaac, na may 10 milyong token context window—10 beses na mas mahaba kaysa sa karamihan sa mga model. Ipinagawa ni ex-Meta lead na Zhu Zheqing, ito ay nakakuha ng 95 sa 256K–4M token tests at 93.3 sa 10M tokens. Ang kumpanyang itinatag noong 2024 ay nakakuha ng $12 milyon sa seed funding mula sa Point72 Ventures, Qualcomm Ventures, at Samsung NEXT. Maaaring makatanggap ng benepisyo ang mga bagong listing ng token mula sa ganitong mga pag-unlad sa AI.
ME AI mensahe, ayon sa pagmamasid ng Beating, ang AI Agent startup na Pokee AI ay naglabas ng Pokee-Isaac 28B. Ang kabuuang parametrong laki ay lamang 2.8 bilyon, ngunit ang context window ay umabot sa 10 milyong Token. Ang kasalukuyang limitasyon ng mga pangunahing modelo ay humigit-kumulang 1 milyong Token, kaya ang Isaac ay halos 10 beses ang laki. Sa kanilang sariling pagsubok, ang Isaac ay nanatili sa paligid ng 95 puntos sa RULER long-text test mula sa 256,000 hanggang 4 milyong Token. Pagkatapos ma-max out sa 10 milyong Token, ang score ay nanatili pa rin sa 93.3. Ang limang iba pang modelo na ginamit bilang kontrol ay hindi nagbigay ng magagamit na resulta mula pa sa 2 milyong Token pataas. Ang Pokee ay nagtatangi sa sobrang haba ng context sa kanilang sariling inimbento na “hindi pure Decoder-only architecture,” na nangangahulugan na hindi sila ganap na sumusunod sa karaniwang pure decoder structure ng mga malalaking modelo. Gayunpaman, ang teknikal na report ay hindi inilabas ang eksaktong arkitektura, attention mechanism, at memory solution, kaya’t hindi pa makakabigay ng kritikal na pagtataya ang labas. Itinatag ang Pokee AI noong 2024 ni Zhu Zheqing, dating puno ng application reinforcement learning sa Meta. Nakakuha ang kumpanya ng $12 milyong seed round na pinamunuan ng Point72 Ventures, kasama ang Qualcomm Ventures at Samsung NEXT bilang mga investor. (Source: MLion)
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.