Вчора вночі я сказав, що випущу дослідження щодо того, чи допомагає міжмодельне запилення насправді відкрити автодослідження. Ось воно, і моя відповідь — ні: бренд моделі, на якій ви будуєте свою роботу, не змінює того, чи виграє ваша підписка. Те, що має значення, схоже на те, на що вказав уперше @sreeramkannan — багато людей координують зусилля на одній загальній межі. Питання виникло з відповіді @0xkydo на пост Sreeram “анонси обігнали Anthropic у 2 рази”, де це було описано як “добрий випадок для дослідження того, як міжмодельне запилення може призвести до кращих результатів”. Це добрі питання, і стаття https://t.co/zVaWaF5HEj робить подібне спостереження у прозі: плато постійно долали люди, що використовували різні моделі та інструменти. Ніхто раніше не перевіряв це на даних, тому я це зробив. Базова структура: я заморозив публічний Yukon API для 10 таблиць лідерів, включаючи https://t.co/zVaWaF5HEj, що містить 30 687 оцінених підписок. Для кожної підписки я зафіксував компанію, що стоїть за заявленою моделлю, і визначив, на яку попередню підписку вона спиралася, використовуючи атрибуційні записи від @yukonresearch, рядок “Base:” у коментарях та кодові розбіжності. Потім я запитав: коли ви будуєте на роботі іншої людини, чи більш імовірно, що вас просунуть, якщо їхня робота була створена за допомогою моделі іншої компанії, ніж ваша? Я повністю записав аналіз і зафіксував його часом за допомогою OpenTimestamps, перш ніж з’єднувати будь-які результати з даними, щоб метод не міг зміститися до певної відповіді. Перше, що показують дані: міжкомпанійна побудова — це нормальний випадок, а не особлива подія. Дві третини кроків, де хтось будує на роботі іншої людини, змінюють постачальника (зображення 2), переважно між моделями Anthropic та OpenAI в обох напрямках. Сирі цифри навіть трохи схиляються у протилежний бік: 6,1% підписок, що спиралися на модель іншої компанії, були просунуті, поруч з 7,6% тих, що спиралися на модель тієї ж компанії. Але сирі показники змішують хто подає, коли та з якої вихідної точки. Тому справжнє тестування порівнює кожного учасника з самим собою на одному й тому ж етапі таблиць лідерів. Зроблене таким чином та об’єднане по 10 таблицях лідерів, шанси на просування на 2% вищі для міжкомпанійної побудови, а дані виключають будь-що ближче за ~18% нижче або 28% вище (зображення 1). Всі дев’ять альтернативних версій аналізу, які я передбачив заздалегідь, дають ту саму відповідь. Це переборює бар’єр, який я встановив для того, щоб назвати ефект у середньому незначним. Одна чесна застереження: я почав з більш строгого бар’єру, а попередньо зареєстрований розрахунок потужності змусив мене перейти до ширшого перед тим, як побачити будь-які результати; за строгого бар’єру це було б невизначено. Найцікавіша частина — це коло з 843 кубитами з посту @sreeramkannan (зображення 3). Це справді межмодельний крок. Публiкацiя @jieyilong з GPT-5 на 843 кубiтах та 11,95M Toffolis починається, за її ж записом, з кола gnuchev Claude Opus 5.5 на 843 кубiтах та 13,01M, яке саме побудоване на двох колах BitWonka з того ж дня. Отже, запилення вiдбувається — і на цьому одному кроцi воно породило число, яке всi цитували. Данi кажуть: у середньому, серед тисяч крокiв, сумiш постачальникiв не є тим фактором, що роздiляє переможцiв вiд тих, хто не перемагає. Звичайно, можливо, це вужче, нiж здається. Це середнє значення — окрема таблиця лiдерiв все ще може вiдрiзнятися. Вона бачить лише роботу, яка була подана. Вона довiряє моделi, яку кожен заявив — а деякi люди запускають кiлька постачальникiв пiд однiєю мiткою. І це про моделi, а не про людей: теза статтi https://t.co/zVaWaF5HEj про те, що рiзнi учасники долають плато — це окремий тезис, і нiчого тут не спростовує це. Мої особистий погляди: - На вiдкритих таблицях лiдерiв те, яка компанiя створила вашу попередню пiдписку, не змiнює вашi шанси на просування у середньому. - Мiжкомпанiйна побудова вже є стандартом: двi третини побудов на роботах iнших людей змiнюють постачальника. - Перевага вiдкритого рою ймовiрно полягає саме у координацiї — багатьох незалежних людей, що повторно стартують з однiєї загальної найкращої точки — нiж у змiшуваннi брендiв моделей. - Щоб перевiрити причинно-наслidкову версiю, платформам потрiбно фiksувати кожну спробу та модель кожного агента — не лише одну заявлену лiнiю на пiдписку. Стаття на Zenodo: https://t.co/h9lRYlJYoB
