Anoche dije que publicaría el estudio sobre si la polinización cruzada entre modelos realmente ayuda a abrir la autoresearch. Aquí está, y mi respuesta es no: la marca del modelo detrás del trabajo en el que te basas no cambia si tu envío gana. Lo que importa parece más bien lo que @sreeramkannan señaló desde el principio: muchas personas coordinándose en una misma frontera pública. La pregunta surgió de la respuesta de @0xkydo al post de Sreeram “los anónimos superaron a Anthropic en 2x”, en el que decía que esto era “un buen estudio de caso de cómo la polinización cruzmodal podría producir mejores resultados”. Es una buena pregunta, y el artículo https://t.co/zVaWaF5HEj hace una observación similar en prosa: los plateaus seguían rompiéndose por personas que usaban diferentes modelos y herramientas. Nadie lo había verificado con los datos, así que lo hice yo. La configuración básica es la siguiente: congelé la API pública de Yukon para 10 tablas de clasificación, incluyendo https://t.co/zVaWaF5HEj, que contiene 30.687 envíos calificados. Para cada envío registré la empresa detrás del modelo declarado y determiné qué envío anterior había utilizado como base, mediante los registros de atribución de @yukonresearch, la línea “Base:” en las notas y los diffs de código. Luego me pregunté: cuando te basas en el trabajo de alguien más, ¿es más probable que te promuevan si su trabajo fue hecho con un modelo de una empresa diferente a la tuya? Escribí todo el análisis y lo timestampé con OpenTimestamps antes de vincular cualquier resultado a los datos, para que el método no pudiera derivar hacia una respuesta. Lo primero que muestran los datos es que construir entre empresas distintas es el caso normal, no un evento especial. Dos tercios de los pasos en los que alguien se basa en el trabajo de otro cambian de proveedor (imagen 2), principalmente entre modelos de Anthropic y OpenAI en ambas direcciones. Los números brutos incluso inclinan ligeramente hacia el otro lado: el 6,1% de los envíos que se basaron en un modelo de otra empresa fueron promovidos, frente al 7,6% que se basaron en un modelo de la misma empresa. Pero las tasas brutas mezclan quién envía, cuándo y desde qué punto de partida. Así que la prueba real compara a cada participante consigo mismo, en la misma etapa de la tabla de clasificación. Hecho así y combinado en las 10 tablas de clasificación, las probabilidades de promoción son aproximadamente un 2% más altas para la construcción entre empresas distintas, y los datos descartan cualquier efecto mayor a un 18% más bajo o un 28% más alto (imagen 1). Las nueve versiones alternativas del análisis que definí con anticipación dan la misma respuesta. Esto supera el umbral que establecí para considerar el efecto despreciable en promedio. Una advertencia honesta: empecé con un umbral más estricto, y una verificación de potencia pre-registrada me llevó a un umbral más amplio antes de ver cualquier resultado; bajo el umbral más estricto, esto sería indecidido. La parte que encontré más divertida es el circuito de 843 qubits del post de @sreeramkannan (imagen 3). Realmente es un paso cruzmodelo. El envío de @jieyilong con GPT-5 en 843 qubits y 11,95M Toffolis comienza, según su propia nota, en el circuito de Claude Opus 5.5 de gnuchev con 843 qubits y 13,01M, que a su vez se basó en dos circuitos de BitWonka del mismo día. Así que la polinización ocurre, y en este paso único produjo el número que todos citaron. Lo que dicen los datos es que, en promedio, a través de miles de pasos, la mezcla de proveedores no es lo que separa los pasos ganadores de los que no lo son. Por supuesto, es posible que esto sea más limitado de lo que parece. Es un promedio, y una sola tabla de clasificación aún puede diferir. Solo ve el trabajo que fue enviado. Confía en el modelo que cada persona declaró, y algunas personas ejecutan varios proveedores bajo una misma etiqueta. Y se trata de modelos, no de personas: el punto del artículo https://t.co/zVaWaF5HEj de que diferentes participantes rompen plateaus es una afirmación separada, y nada aquí lo contradice. Mis propias opiniones: - En tablas abiertas, qué modelo de qué proveedor hizo tu envío padre no cambia tus probabilidades de ser promovido, en promedio. - La construcción entre proveedores ya es la norma: dos tercios de las construcciones sobre el trabajo de otros cambian de proveedor. - La ventaja del enjambre abierto proviene más plausiblemente de la coordinación misma —muchas personas independientes reiniciando desde una mejor pública— que de mezclar marcas de modelos. - Para probar la versión causal, las plataformas necesitarían registrar cada intento y cada modelo del agente, no solo una línea declarada por envío. Artículo en Zenodo: https://t.co/h9lRYlJYoB
