Na noite passada, disse que publicaria o estudo sobre se a polinização entre modelos realmente ajuda a abrir a autopesquisa. Aqui está, e minha resposta é não: a marca do modelo por trás do trabalho em que você se baseia não altera se sua submissão vence. O que importa parece mais com aquilo que @sreeramkannan apontou desde o início: muitas pessoas coordenando-se em uma única fronteira pública. A pergunta surgiu da resposta de @0xkydo ao post de Sreeram “anons batem Anthropic em 2x”, que chamou isso de “um bom estudo de caso de como a polinização cross-modal pode produzir melhores resultados”. É uma boa pergunta, e o artigo em https://t.co/zVaWaF5HEj faz uma observação semelhante em prosa: platôs continuavam sendo quebrados por pessoas usando diferentes modelos e ferramentas. Ninguém havia verificado isso contra os dados, então eu fiz. A configuração básica foi: congelei a API pública Yukon para 10 leaderboards, incluindo https://t.co/zVaWaF5HEj, que contém 30.687 submissões pontuadas. Para cada submissão, registrei a empresa por trás do modelo declarado e determinei qual submissão anterior ela baseou-se, usando os registros de atribuição de @yukonresearch, a linha “Base:” nas notas e diff de código. Depois perguntei: quando você se baseia no trabalho de alguém, é mais provável que seja promovido se o trabalho deles foi feito com um modelo de outra empresa do que o seu? Escrevi toda a análise e carimbei o tempo com OpenTimestamps antes de vincular qualquer resultado aos dados, para que o método não pudesse se desviar em direção a uma resposta. A primeira coisa que os dados mostram é que a construção cross-company é o caso normal, não um evento especial. Dois terços das etapas em que alguém se baseia no trabalho de outra pessoa mudam de fornecedor (imagem 2), principalmente entre modelos da Anthropic e da OpenAI em ambas as direções. Os números brutos até inclinam-se ligeiramente para o outro lado: 6,1% das submissões que se basearam em um modelo de outra empresa foram promovidas, contra 7,6% que se basearam em um modelo da mesma empresa. Mas taxas brutas misturam quem submeteu, quando e de qual ponto inicial. Então o teste real compara cada participante consigo mesmo, no mesmo estágio do leaderboard. Feito desse jeito e combinado nos 10 leaderboards, as chances de promoção são cerca de 2% maiores para construção cross-company, e os dados excluem qualquer efeito além de aproximadamente 18% menor ou 28% maior (imagem 1). Todas as nove versões alternativas da análise que pré-defini antes me deram a mesma resposta. Isso supera a barreira que estabeleci para considerar o efeito negligenciável na média. Uma ressalva honesta: comecei com uma barra mais rigorosa, e um teste de poder pré-registrado me levou a uma barra mais ampla antes de ver qualquer resultado; sob a barra mais rigorosa, isso seria indeterminado. A parte que achei mais divertida é o circuito de 843 qubits do post de @sreeramkannan (imagem 3). É realmente um passo cross-modelo. A submissão de @jieyilong com GPT-5 em 843 qubits e 11,95M Toffolis começa, segundo sua própria nota, no circuito Claude Opus 5.5 de gnuchev com 843 qubits e 13,01M, que por sua vez se baseou em dois circuitos BitWonka do mesmo dia. Então a polinização acontece — e nesse único passo produziu o número que todos citaram. O que os dados dizem é que, na média, entre milhares de passos, a mistura de fornecedores não é o que separa os passos que vencem dos que não vencem. Claro, é possível que isso seja mais restrito do que parece. É uma média, e um único leaderboard ainda pode diferir. Ele só vê o trabalho que foi submetido. Confia no modelo declarado por cada pessoa, e algumas pessoas executam vários fornecedores sob um único rótulo. E trata-se de modelos, não de pessoas: o ponto do artigo em https://t.co/zVaWaF5HEj de que diferentes participantes quebram platôs é uma afirmação separada, e nada aqui contesta isso. Minhas próprias opiniões: - Em leaderboards abertos, qual modelo da empresa fez sua submissão pai não altera suas chances de promoção, na média. - A construção cross-vendor já é o padrão: dois terços das construções sobre o trabalho de outras pessoas mudam de fornecedor. - A vantagem do enxame aberto provavelmente vem da coordenação em si — muitas pessoas independentes reiniciando a partir de um melhor público — e não da mistura de marcas de modelos. - Para testar a versão causal, plataformas precisariam registrar todas as tentativas e todos os modelos dos agentes, não apenas uma linha declarada por submissão. Artigo no Zenodo: https://t.co/h9lRYlJYoB