Version 1.1 de SubQ publiée au milieu du scepticisme de la communauté

Selon les nouvelles de ME, le 17 juin (UTC+8), selon les données surveillées par Beating, SubQ, le modèle controversé qui prétend réduire la consommation de calcul de mille fois, a publié un rapport technique sur sa version 1.1 Small (paramètres réduits). En réponse aux critiques de la communauté qui avaient qualifié la version préliminaire de « remède universel à l'IA » (signifiant une publicité trompeuse) en raison de l'absence de publication académique et de validation indépendante, l'entreprise Subquadratic, en collaboration avec l'évaluateur Appen, a mené une évaluation tierce, affirmant que le modèle atteignait une précision de recherche de 98 % sur une longueur maximale de 12 millions de tokens et obtenait des résultats proches des modèles de pointe dominants lors de tests de programmation pratiques. Le rapport technique révèle également que le modèle n'a pas été entraîné depuis zéro, mais a été modifié à partir d'un modèle open-source de pointe en remplaçant le mécanisme de calcul d'attention et en effectuant un entraînement incrémental sur 1 billion de tokens. Même avec cette évaluation tierce, la communauté des développeurs reste sceptique face à cette mise à jour. Certains chercheurs soulignent que la prétendue « technologie secrète » ne comporte en réalité aucune avancée fondamentale, mais repose simplement sur une technique existante consistant à découper les longs textes en petits blocs pour un filtrage dynamique (c'est-à-dire l'attention à sparsité par blocs). D'autres lecteurs dénoncent la présence dans le rapport technique de phrases génériques générées par l'IA (notamment dans la section 5.7.1). Des ingénieurs système avertissent quant à eux que le mécanisme de filtrage génère un surcoût d'ordonnancement lors d'une utilisation simultanée par plusieurs utilisateurs, entraînant des ralentissements sévères pour les 1 % d'utilisateurs les plus lents. Étant donné que les paramètres centraux du modèle ne sont pas publiés pour téléchargement et qu'aucune API accessible à tous n'est disponible, les promesses de réduction de la puissance de calcul et de prix extrêmement bas restent pour l'instant purement théoriques. (Source : BlockBeats)