Два бывших сотрудника OpenAI запустили веб-сайт под названием In the Weights, чтобы ответить на экспериментальный вопрос: насколько хорошо крупные модели сами «помнят» людей без обращения к веб-поиску. По мере того как все больше пользователей обращаются к чат-ботам за информацией, такие тесты приобретают практическое значение.
Тестирование распознавания имен с использованием нескольких моделей
В названии сайта «weights» означает параметры модели. Разработчики Томас Димсон и Джои Флинн считают, что в традиционном поиске «поиск себя» больше не является единственным способом измерения личного присутствия в сети — способность модели напрямую упомянуть человека становится другим показателем видимости.
In the Weights отправляет различным моделям вопросы вроде «Кто такой某某?» и требует предоставить не более 10 результатов, краткое описание и уровень уверенности. Затем сайт группирует похожие описания и генерирует показатель силы, который измеряет степень «запоминания» модели этого имени.
Рейтинги могут меняться, а также могут возникать иллюзии
Сейчас в тестировании участвуют модели Grok, Gemini, несколько версий GPT, Claude, Llama, а также некоторые менее известные модели. На странице результатов также отображается, какие модели дали ответы и какие ответы могут содержать иллюзии или путаницу.
На примере автора TechCrunch Энтони Ха, сайт присвоил ему оценку 641, что относит его к числу 6% лучших по имени. Однако ранжирование постоянно меняется. На момент публикации статьи первым был актер Маколей Калкин, за ним следовал певец Лючано Паваротти.
В отчете также упоминается, что GPT-5.4 Mini интерпретировал Anthony Ha как расплывчатую форму имени, которая может соответствовать нескольким людям, а не как конкретную личность. Такие случаи также помечаются сайтом как потенциальные галлюцинации.
Разработчики делают ставку на новую видимость в эпоху моделей
Димсон заявил в интервью, что после ухода из OpenAI он и Флинн хотят заняться проектами, способными вновь вдохновить на творчество. Ранее они присоединились к OpenAI после того, как их дизайн-компания Global Illumination была приобретена.
Он считает, что к 2026 году, по мере того как трафик продолжит смещаться в сторону крупных моделей, поиск по принципу «ванильного» поиска Google уже не будет главной целью. Вместо рейтинга веб-страниц, наличие информации о вас в параметрах модели становится новой формой онлайн-существования.
Разработчики также отметили, что далее будут продолжать исследовать, почему одна и та же модель выдает разные результаты, какие типы людей легче «запоминают» разные модели, а также кто те люди, которые теоретически должны иметь страницы в Википедии, но пока их не создали.