Une entreprise de recherche en AGI basée à Singapour, Sapient Intelligence, a publié les poids complets, le code de pré-entraînement et le pipeline de données pour HRM-Text, un modèle linguistique construit sur ce qu'elle appelle une architecture de Modèle de Raisonnement Hiérarchique. L'ensemble du package est disponible sous la licence Apache 2.0 sur Hugging Face et GitHub, ce qui signifie que quiconque peut l'utiliser, le modifier ou le développer à des fins commerciales.
La partie remarquable n’est pas seulement le geste open source. C’est l’économie. HRM-Text, qui compte environ 1 milliard de paramètres, a été pré-entraîné sur environ 40 milliards de jetons et a coûté entre 1 000 $ et 1 500 $ sur du matériel modeste. Pour comparaison, les modèles de pointe des grands laboratoires s’entraînent généralement sur des milliers de milliards de jetons avec des budgets informatiques s’élevant à des dizaines ou des centaines de millions de dollars.
Comment ça fonctionne réellement
Le modèle utilise une architecture récurrente latérale hiérarchique, telle que décrite par l'entreprise. Le module de haut niveau gère un raisonnement lent et abstrait, effectuant 2 « cycles H » par passe. Le module de bas niveau gère un traitement rapide et détaillé, exécutant 3 à 6 « cycles L » par passe. Ensemble, ces modules permettent au modèle d'itérer plusieurs fois sur son propre raisonnement avant de produire une sortie, tout en maintenant un nombre de paramètres fixe.
Plutôt que de générer des jetons de chaîne de raisonnement visibles qui consomment de la mémoire contextuelle et augmentent les coûts d'inférence, HRM-Text effectue ses réflexions itératives en interne. Le raisonnement se déroule dans les états cachés du modèle, et non dans le texte de sortie.
Performance de référence qui dépasse les attentes
Les évaluations indépendantes réalisées en avril 2026 racontent l'histoire en chiffres. HRM-Text a obtenu 56,2 % sur le benchmark MATH, 82,2 % sur DROP, 81,9 % sur ARC-Challenge et 60,7 % sur MMLU. Le pré-entraînement aurait été terminé en environ une journée.
HRM-Text s'appuie sur les travaux antérieurs de Sapient. Le modèle HRM original, open-source en juillet 2025, ne comptait que 27 millions de paramètres et a démontré de bonnes performances sur des tâches de raisonnement complexes avec seulement 1 000 exemples d'entraînement. HRM-Text représente une augmentation d'environ 37 fois du nombre de paramètres tout en conservant la même philosophie architecturale.
Sapient a créé un canal Discord pour les développeurs intéressés par l'exploration de l'architecture. La licence Apache 2.0 élimine les obstacles juridiques. Le coût de formation de 1 500 $ élimine la plupart des obstacles financiers.