Двоє колишніх співробітників OpenAI запустили веб-сайт під назвою In the Weights, щоб спробувати відповісти на експериментальне питання: наскільки багато людей велика модель «пам’ятає» без виклику пошуку в мережі. Зі зростанням кількості користувачів, які звертаються до чат-ботів за інформацією, такі тести набувають практичного значення.
Тестування визначення імені за допомогою кількох моделей
У назві веб-сайту «weights» означає параметри моделі. Розробники Томас Дімсон і Джої Флінн вважають, що «пошук себе» у традиційному пошуку більше не є єдиним способом вимірювання особистої присутності в мережі — здатність моделі безпосередньо назвати людину стає іншим індикатором видимості.
У Weights надсилаються запити до різних моделей у форматі «Хто такий [ім’я]?» і вимагається надати не більше 10 результатів, короткий опис та рівень впевненості. Потім сайт групує схожі описи та генерує показник сили, який вимірює ступінь «пам’яті» моделі про це ім’я.
Рейтинги можуть змінюватися, а також можуть виникати ілюзії
Наразі до тестування підключені моделі Grok, Gemini, кілька версій GPT, Claude, Llama, а також деякі менш відомі моделі. На сторінці результатів також відображається, які моделі надали відповіді та які відповіді можуть містити галюцинації або плутанину.
Наприклад, автор TechCrunch Ентоні Ха отримав оцінку 641, що відповідає топ-6% усіх імен. Однак рейтинг постійно змінюється. На момент публікації статті актор Маколей Калкін тимчасово посідав перше місце, за ним слідував співак Лучано Паваротті.
У доповіді також зазначалося, що GPT-5.4 Mini розглядав Anthony Ha як невизначену форму імені, яка може відповідати кільком особам, а не визначав його як конкретну особу. Такі випадки також позначаються на сайті як потенційні галюцинації.
Розробники роблять ставку на нову видимість ери моделей
Дімсон у інтерв’ю сказав, що після того, як він і Флінн залишили OpenAI, вони хотіли зайнятися проектами, які знову розбудять креативність. Раніше вони приєдналися до OpenAI після того, як їхня дизайн-компанія Global Illumination була придбана.
Він вважає, що до 2026 року, коли трафік продовжуватиме перетікати до великих моделей, пошукові запити у стилі Google більше не будуть найважливішою метою. Натомість наявність інформації про вас у параметрах моделі стає новим видом онлайн-існування.
Розробники також зазначили, що далі будуть досліджувати, чому одна й та ж модель серії дає різні результати, які типи людей легше «пам’ятають» різні моделі, а також які люди теоретично повинні мати статтю у Вікіпедії, але її ще не створено.