Pokee AI lance un modèle de 28 milliards avec un contexte de 10 millions de jetons, 10 fois plus long que les modèles grand public

iconKuCoinFlash
Partager
AI summary iconRésumé
Le média d'actualités IA + crypto MetaEra rapporte que Pokee AI a lancé son modèle 28B, Pokee-Isaac, avec une fenêtre de contexte de 10 millions de jetons — 10 fois plus longue que la plupart des modèles. Développé par Zhu Zheqing, ancien chef chez Meta, il obtient un score de 95 sur des tests de 256K à 4M jetons et 93,3 à 10M jetons. L'entreprise fondée en 2024 a levé 12 millions de dollars en financement initial auprès de Point72 Ventures, Qualcomm Ventures et Samsung NEXT. Les nouvelles listings de jetons pourraient bénéficier de ces avancées en IA.
ME AI Message, selon la surveillance de Beating, l'entreprise d'agents IA Pokee AI a lancé Pokee-Isaac 28B. Ce modèle compte seulement 28 milliards de paramètres, mais sa fenêtre de contexte atteint 10 millions de tokens. Les modèles dominants actuels ont une limite d'environ 1 million de tokens ; Isaac en approche donc dix fois plus. Lors des tests internes de Pokee, Isaac a maintenu une note d'environ 95 sur le test RULER de textes longs, allant de 256 000 à 4 millions de tokens. Après avoir atteint 10 millions de tokens, son score reste à 93,3. Les cinq autres modèles de référence n'ont pas fourni de résultats exploitables à partir de 2 millions de tokens. Pokee attribue cette capacité de contexte ultra-long à son architecture « non purement decoder-only » qu'elle a développée en interne, c'est-à-dire qu'elle ne suit pas entièrement la structure décodeur pur courante des grands modèles. Toutefois, le rapport technique ne révèle pas les détails de l'architecture, du mécanisme d'attention ni de la solution de mémoire GPU ; il est donc impossible pour l'extérieur de déterminer précisément comment cela a été réalisé. Pokee AI a été fondée en 2024 par Zhu Zheqing, ancien responsable de l'apprentissage par renforcement applicatif chez Meta. L'entreprise a levé 12 millions de dollars en série semence, menée par Point72 Ventures, avec la participation de Qualcomm Ventures et Samsung NEXT. (Source : MLion)
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.