Deux anciens employés d'OpenAI ont lancé un site web appelé In the Weights, visant à répondre à une question expérimentale : combien de personnes les grands modèles « se souviennent-ils » sans faire appel à une recherche web. Alors que de plus en plus d'utilisateurs se tournent vers les chatbots pour obtenir des informations, ce type de test acquiert une pertinence concrète.
Tester la reconnaissance des noms propres avec plusieurs modèles
Le terme « weights » dans le nom du site web fait référence aux paramètres du modèle. Les développeurs Thomas Dimson et Joey Flynn estiment que la recherche de soi-même dans les moteurs de recherche traditionnels n'est plus le seul moyen d'évaluer la présence en ligne d'une personne ; la capacité d'un modèle à citer directement une personne devient un nouvel indicateur de visibilité.
Weights envoie des questions similaires à « Qui est [nom] » à différents modèles et demande jusqu'à 10 résultats, accompagnés d'une brève description et d'un niveau de confiance. Le site regroupe ensuite les descriptions similaires et génère un score d'intensité pour mesurer le degré de « mémoire » du modèle concernant ce nom.
Les classements peuvent changer et des hallucinations peuvent apparaître.
Les modèles actuellement testés incluent Grok, Gemini, plusieurs versions de GPT, Claude, Llama, ainsi que certains modèles moins courants. La page de résultats indique également quels modèles ont fourni des réponses et lesquelles pourraient contenir des hallucinations ou des confusions.
À titre d'exemple, l'auteur de TechCrunch Anthony Ha obtient un score de 641, se situant dans les 6 % supérieurs de tous les noms. Toutefois, le classement évolue continuellement. Au moment de la publication, l'acteur Macaulay Culkin occupait temporairement la première place, suivi par le chanteur Luciano Pavarotti.
L'article mentionne également que GPT-5.4 Mini a interprété Anthony Ha comme une forme floue pouvant correspondre à plusieurs personnes, plutôt que de l'identifier directement comme une personne spécifique. Ce type de cas est également marqué par le site comme une possible hallucination.
Les développeurs parient sur la nouvelle visibilité de l'ère des modèles
Dimson a déclaré lors d'une interview qu'après avoir quitté OpenAI avec Flynn, ils souhaitaient entreprendre des projets capables de réveiller leur créativité. Les deux avaient rejoint OpenAI après que leur société de conception, Global Illumination, ait été acquise.
Il estime qu'en 2026, avec le transfert continu du trafic vers les grands modèles, les recherches vaniteuses au style Google ne seront plus l'objectif principal. Plutôt que le classement des résultats web, la présence ou non de vos informations dans les paramètres du modèle devient un nouveau type de présence en ligne.
Les développeurs ont également indiqué qu'ils continueront à étudier pourquoi la même série de modèles produit des résultats différents, quels types de personnes les différents modèles sont plus susceptibles de « se souvenir », et quelles personnes devraient théoriquement avoir une page Wikipédia mais n'en ont pas encore.