Вчера вечером я сказал, что выпущу исследование о том, помогает ли перекрёстная поллинизация моделей действительно улучшать открытые исследования. Вот оно, и мой ответ — нет: бренд модели, на которой вы строите свою работу, не влияет на то, выиграет ли ваша подача. То, что действительно имеет значение, скорее всего, то, на что указал @sreeramkannan изначально: много людей координируют усилия вокруг одной общей границы. Вопрос возник в ответе @0xkydo на пост Sreeram’a «анонимы обошли Anthropic в 2 раза», где он назвал это «хорошим кейсом для изучения того, как перекрёстная поллинизация может давать лучшие результаты». Это хороший вопрос, и в статье по ссылке https://t.co/zVaWaF5HEj делается аналогичное наблюдение в текстовой форме: плато постоянно преодолевались людьми, использующими разные модели и инструменты. Никто ранее не проверял это на данных, поэтому я это сделал. Основная структура: я зафиксировал публичный API Yukon для 10 рейтинговых таблиц, включая https://t.co/zVaWaF5HEj — это 30 687 оценённых подач. Для каждой подачи я зафиксировал компанию, стоящую за заявленной моделью, и определил, на какую более раннюю подачу она опиралась, используя атрибуционные записи от @yukonresearch, строку «Base:» в примечаниях и кодовые диффы. Затем я задался вопросом: когда вы строите работу на чужой подаче, повышается ли вероятность вашего продвижения, если чужая работа была создана с использованием модели другой компании? Я полностью записал метод анализа и зафиксировал его временную метку с помощью OpenTimestamps до того, как соединил какие-либо результаты с данными — чтобы метод не мог сместиться в сторону желаемого ответа. Первое, что показывают данные: перекрёстное построение на чужих работах — это нормальное явление, а не исключение. Две трети переходов, когда кто-то строит на работе другого человека, меняют поставщика (изображение 2), чаще всего в обе стороны между моделями Anthropic и OpenAI. Сырые цифры даже слегка противоречат гипотезе: 6,1% подач, построенных на модели другой компании, были продвинуты, против 7,6% подач, построенных на модели той же компании. Но сырые показатели смешивают кто подаёт, когда и с какой начальной точки. Поэтому настоящий тест сравнивает каждого участника с самим собой на той же стадии рейтинговой таблицы. Сделано так и объединено по всем 10 рейтинговым таблицам — вероятность продвижения на 2% выше при перекрёстном построении, а данные исключают любые отклонения более чем на 18% ниже или 28% выше (изображение 1). Все девять альтернативных версий анализа, заранее зафиксированных мной, дают тот же ответ. Это позволяет мне считать эффект в среднем незначительным. Один честный оговор: я изначально установил более строгий порог, и предварительно зарегистрированный расчёт мощности заставил меня расширить его до более широкого до того, как я увидел какие-либо результаты; при более строгом пороге результат был бы неопределённым. Самая интересная часть — это схема с 843 кьюбитами из поста @sreeramkannan (изображение 3). Это действительно шаг с перекрёстной моделью. Подача @jieyilong с GPT-5 на 843 кьюбита и 11,95 млн тоффоли начинается, согласно собственному примечанию, с цепи gnuchev’s Claude Opus 5.5 на 843 кьюбита и 13,01 млн — которая сама опиралась на две цепи BitWonka из того же дня. Таким образом, поллинизация происходит — и на этом одном шаге она дала число, которое все цитировали. Но данные говорят: в среднем, среди тысяч шагов, смешение поставщиков не является тем фактором, который отделяет выигрывающие шаги от проигрывающих. Конечно, возможно, что это выглядит уже уже, чем есть на самом деле. Это усреднённый показатель — отдельная рейтинговая таблица всё ещё может отличаться. Она видит только работу, которая была подана. Она доверяет модели, заявленной каждым участником — а некоторые люди запускают несколько поставщиков под одной меткой. И она касается моделей, а не людей: тезис статьи https://t.co/zVaWaF5HEj о том, что разные участники преодолевают плато — это отдельное утверждение, и ничего здесь не опровергает его. Мои собственные взгляды: - На открытых рейтинговых таблицах бренд модели родительской подачи не влияет на ваши шансы на продвижение в среднем. - Перекрёстное построение уже является стандартом: две трети построений на чужих работах меняют поставщика. - Преимущество открытого роя скорее связано с самой координацией — множеством независимых участников, возобновляющих работу от одной публичной лучшей версии — чем со смешиванием брендов моделей. - Чтобы проверить причинную версию, платформам нужно регистрировать каждую попытку и модель каждого агента — а не только одну заявленную строку на подачу. Статья на Zenodo: https://t.co/h9lRYlJYoB
