Dua mantan karyawan OpenAI meluncurkan situs web bernama In the Weights, yang berusaha menjawab pertanyaan bersifat eksperimen: seberapa banyak informasi yang sebenarnya diingat oleh model besar tanpa memanggil pencarian web. Seiring semakin banyak pengguna yang beralih ke chatbot untuk mendapatkan informasi, pengujian semacam ini mulai memiliki makna nyata.
Uji pengenalan nama orang dengan berbagai model
Dalam nama situs web, "weights" merujuk pada parameter model. Pengembang Thomas Dimson dan Joey Flynn percaya bahwa "mencari diri sendiri" dalam pencarian tradisional tidak lagi menjadi satu-satunya cara untuk mengukur keberadaan seseorang di jaringan, dan kemampuan model untuk secara langsung menyebutkan seseorang sedang menjadi indikator visibilitas lainnya.
In the Weights akan mengirimkan pertanyaan serupa seperti "Siapa [nama]?" ke berbagai model, dan meminta hingga 10 hasil, deskripsi singkat, dan tingkat kepercayaan. Situs web kemudian mengelompokkan deskripsi yang serupa, lalu menghasilkan skor intensitas untuk mengukur sejauh mana model "mengingat" nama tersebut.
Peringkat akan berubah, dan juga dapat muncul ilusi
Model yang saat ini berpartisipasi dalam pengujian meliputi Grok, Gemini, beberapa versi GPT, Claude, Llama, serta beberapa model yang kurang umum. Halaman hasil juga akan menampilkan model mana yang memberikan jawaban, dan jawaban mana yang mungkin mengandung ilusi atau kebingungan.
Sebagai contoh, penulis TechCrunch Anthony Ha mendapatkan skor 641, berada di 6% teratas dari semua nama. Namun, peringkat daftar terus berubah. Saat laporan ini diterbitkan, aktor Macaulay Culkin sementara berada di peringkat pertama, diikuti oleh penyanyi Luciano Pavarotti.
Laporan tersebut juga menyebutkan bahwa GPT-5.4 Mini pernah menginterpretasikan Anthony Ha sebagai bentuk nama ambigu yang mungkin merujuk pada beberapa orang, bukan langsung mengenali sebagai individu tertentu. Kasus semacam ini juga ditandai oleh situs web sebagai potensi ilusi.
Developer mempertaruhkan visibilitas baru di era model
Dimson mengatakan dalam wawancara bahwa setelah meninggalkan OpenAI, ia dan Flynn ingin mengerjakan proyek-proyek yang dapat membangkitkan kembali kreativitas. Keduanya sebelumnya bergabung dengan OpenAI setelah perusahaan desain mereka, Global Illumination, diakuisisi.
Ia percaya bahwa pada tahun 2026, seiring aliran lalu lintas terus berpindah ke model besar, pencarian vanity ala Google tidak lagi menjadi tujuan utama. Alih-alih peringkat hasil halaman web, apakah informasi "Anda" tersimpan dalam parameter model, kini menjadi bentuk baru dari keberadaan daring.
Developer juga menyatakan bahwa mereka akan terus meneliti mengapa model dalam seri yang sama menghasilkan hasil berbeda, model mana yang lebih mudah "mengingat" jenis orang tertentu, dan orang-orang mana yang secara teoritis seharusnya memiliki halaman Wikipedia tetapi belum dibuat.