Hier soir, j’ai dit que je publierai une étude sur la question de savoir si la pollinisation inter-modèles aide réellement à ouvrir l’autorecherche. Voici la voilà, et ma réponse est non : la marque du modèle sur lequel vous vous appuyez ne change pas la probabilité que votre soumission gagne. Ce qui compte ressemble davantage à ce que @sreeramkannan a souligné dès le départ : un grand nombre de personnes coordonnées sur une même frontière publique. La question provenait de la réponse de @0xkydo au post de Sreeram « les anons ont battu Anthropic de 2x », selon lequel il s’agissait « d’une bonne étude de cas sur la manière dont la pollinisation inter-modèles pourrait produire de meilleurs résultats ». C’est une excellente question, et l’article https://t.co/zVaWaF5HEj fait une observation similaire en prose : les plateaux continuaient d’être dépassés par des personnes utilisant des modèles et des outils différents. Personne n’avait encore vérifié cela avec les données, alors je l’ai fait. La configuration de base est la suivante : j’ai gelé l’API publique Yukon pour 10 classements, dont https://t.co/zVaWaF5HEj, qui contient 30 687 soumissions notées. Pour chaque soumission, j’ai enregistré l’entreprise derrière le modèle déclaré et déterminé quelle soumission antérieure elle reprenait, à partir des enregistrements d’attribution de @yukonresearch, de la ligne « Base : » dans les notes et des différences de code. Ensuite, je me suis demandé : lorsque vous vous appuyez sur le travail de quelqu’un d’autre, êtes-vous plus susceptible d’être promu si ce travail a été réalisé avec un modèle d’une autre entreprise que le vôtre ? J’ai rédigé l’intégralité de l’analyse et l’ai horodatée avec OpenTimestamps avant d’associer quelconque résultat aux données, afin que la méthode ne puisse pas dériver vers une réponse. La première chose que les données montrent est que le fait de construire entre entreprises est la norme, pas un événement exceptionnel. Deux tiers des étapes où quelqu’un s’appuie sur le travail d’une autre personne changent de fournisseur (image 2), principalement entre les modèles Anthropic et OpenAI dans les deux sens. Les chiffres bruts penchent même légèrement dans l’autre sens : 6,1 % des soumissions qui s’appuyaient sur un modèle d’une autre entreprise ont été promues, contre 7,6 % celles qui s’appuyaient sur un modèle de la même entreprise. Mais les taux bruts mélangent qui soumet, quand, et à partir de quel point de départ. Le vrai test compare donc chaque participant avec lui-même, au même stade du classement. Fait ainsi et combiné sur les 10 classements, les chances de promotion sont environ 2 % plus élevées pour la construction inter-entreprise, et les données excluent toute différence supérieure à environ 18 % de moins ou 28 % de plus (image 1). Les neuf versions alternatives de l’analyse que j’ai fixées à l’avance donnent toutes la même réponse. Cela franchit le seuil que j’avais fixé pour considérer l’effet comme négligeable en moyenne. Une réserve honnête : j’avais initialement fixé un seuil plus strict, et un contrôle de puissance pré-enregistré m’a poussé à adopter un seuil plus large avant que je ne voie aucun résultat ; selon le seuil plus strict, cette étude serait indécise. La partie que j’ai trouvée la plus intéressante est le circuit de 843 qubits du post de @sreeramkannan (image 3). C’est vraiment une étape inter-modèles. La soumission GPT-5 de @jieyilong à 843 qubits et 11,95 M Toffolis commence, selon sa propre note, sur le circuit Claude Opus 5.5 de gnuchev à 843 qubits et 13,01 M, qui s’appuyait lui-même sur deux circuits BitWonka du même jour. La pollinisation se produit donc, et à cette seule étape, elle a produit le chiffre cité par tout le monde. Ce que les données disent, c’est qu’en moyenne, à travers des milliers d’étapes, le mélange des fournisseurs n’est pas ce qui distingue les étapes gagnantes des autres. Bien sûr, il est possible que cela soit plus étroit qu’il n’y paraît. C’est une moyenne, et un seul classement peut encore différer. Il ne prend en compte que le travail qui a été soumis. Il fait confiance au modèle déclaré par chaque personne, et certaines personnes exécutent plusieurs fournisseurs sous une même étiquette. Et il concerne les modèles, pas les personnes : l’idée du papier https://t.co/zVaWaF5HEj selon laquelle différents participants brisent les plateaux est une affirmation distincte, et rien ici ne la contredit. Mes propres vues : - Sur les classements ouverts, la marque du modèle ayant produit votre soumission parente ne change pas vos chances d’être promu, en moyenne. - La construction inter-fournisseurs est déjà la norme : deux tiers des constructions sur le travail d’autrui changent de fournisseur. - L’avantage du swarm ouvert vient probablement davantage de la coordination elle-même — de nombreux individus indépendants repartant d’un meilleur résultat public — que du mélange des marques de modèles. - Pour tester la version causale, les plateformes devraient enregistrer chaque tentative et chaque modèle utilisé par chaque agent, et non pas simplement une ligne déclarée par soumission. Article sur Zenodo : https://t.co/h9lRYlJYoB