Dois ex-funcionários da OpenAI lançaram um site chamado In the Weights, tentando responder a uma pergunta com caráter experimental: quanto uma grande modelo “lembra” de pessoas sem fazer buscas na web. À medida que cada vez mais usuários recorrem a chatbots para obter informações, esse tipo de teste também adquiriu relevância prática.
Testar reconhecimento de nomes próprios com vários modelos
O termo "weights" no nome do site refere-se aos parâmetros do modelo. Os desenvolvedores Thomas Dimson e Joey Flynn acreditam que o "search yourself" nas buscas tradicionais já não é mais a única forma de medir a presença online de uma pessoa; a capacidade do modelo de mencionar diretamente uma pessoa está se tornando outro indicador de visibilidade.
In the Weights enviará perguntas semelhantes a “Quem é某某?” para diferentes modelos, solicitando até 10 resultados, descrições curtas e níveis de confiança. O site então agrupa descrições semelhantes e gera uma pontuação de intensidade para medir o grau de “memória” do modelo sobre esse nome.
A classificação pode mudar e também pode surgir ilusões
Os modelos atualmente envolvidos no teste incluem Grok, Gemini, várias versões do GPT, Claude, Llama e alguns modelos menos comuns. A página de resultados também mostrará quais modelos forneceram respostas e quais respostas podem conter ilusões ou confusões.
Por exemplo, o autor da TechCrunch Anthony Ha recebeu uma pontuação de 641, ocupando os primeiros 6% de todos os nomes. No entanto, as classificações da lista estão em constante mudança. No momento da publicação da matéria, o ator Macaulay Culkin estava em primeiro lugar, seguido pelo cantor Luciano Pavarotti.
A report também mencionou que o GPT-5.4 Mini interpretou Anthony Ha como uma forma ambígua de nome que pode corresponder a várias pessoas, em vez de identificá-lo diretamente como uma pessoa específica. Esse tipo de situação também foi marcado pelo site como uma possível ilusão.
Desenvolvedores apostam na nova visibilidade da era dos modelos
Dimson disse em entrevista que, após deixarem a OpenAI, ele e Flynn desejam trabalhar em projetos que possam reacender a criatividade. Os dois haviam se juntado à OpenAI após a aquisição de sua empresa de design, Global Illumination.
Ele acredita que, até 2026, à medida que o tráfego continua a se deslocar para grandes modelos, a busca vanidosa do tipo Google já não será mais o objetivo principal. Em vez da classificação de resultados de páginas da web, a presença de informações sobre você nos parâmetros do modelo está se tornando um novo tipo de presença na web.
Os desenvolvedores também mencionaram que continuarão pesquisando por que o mesmo modelo da série produz resultados diferentes, quais tipos de pessoas são mais facilmente “lembradas” por diferentes modelos e quais pessoas teoricamente deveriam ter uma página na Wikipédia, mas ainda não a têm.