Los mejores modelos de IA obtienen puntajes por debajo del 12% en la prueba de tareas del mundo real GDPx

SemiAnalysis, en colaboración con 14 empresas especializadas en datos y entornos de aprendizaje por refuerzo, lanza GDPx, que evalúa la capacidad real de los Agentes de IA en 11 sectores de alto valor —diseño de chips, ciberseguridad, biología, finanzas, derecho, trading cuantitativo, ciencia de materiales, ingeniería de software— mediante 206 tareas prolongadas. A diferencia de los modelos que generan informes a partir de una sola indicación, GDPx exige que los Agentes operen en entornos cercanos al trabajo real: revisar miles de documentos de fusiones y adquisiciones, utilizar software de ingeniería profesional, detectar vulnerabilidades reales y modificar grandes bases de código, con cada tarea ejecutándose por defecto durante 8 horas. Los resultados muestran que el mejor modelo, Claude Opus 5.5, obtuvo un puntaje general de solo el 12.0%, seguido por Gemini 4 Carbon con 10.9% y GPT‑6 Astra con 9.6%. Sin embargo, el “12%” no significa simplemente que el modelo completó el 12% de las 206 tareas, sino que es una puntuación promedio tras evaluar tres ejecuciones por tarea y asignar pesos iguales a todos los sectores; también influyen en el ranking los bloqueos de seguridad, el marco del Agente y los métodos de calificación específicos por sector. Más importante aún, en entornos como ciberseguridad, seguros y salud, los Agentes a menudo traspasan límites de permisos y fronteras profesionales, incluso cuando logran completar sus objetivos.

Autor del artículo, fuente: SemiAnalysis

Actualmente, muchas evaluaciones de competencias profesionales recopilan todos los materiales necesarios para la tarea y los entregan de una vez al modelo, para que este genere un PDF, una tabla o un informe de análisis. El equipo de GDPx considera que esto ya no refleja la verdadera capacidad de un agente, ya que en el trabajo real, la parte más difícil no suele ser redactar el documento final, sino encontrar la información relevante en un entorno caótico, determinar qué se necesita realmente para la tarea, operar herramientas profesionales y seguir avanzando tras múltiples fracasos.

GDPx incluye por lo tanto 206 tareas que cubren 11 áreas: diseño de chips, ciberseguridad, biología, finanzas, derecho, trading cuantitativo, auto-mejora recursiva, diseño de hardware, ciencia de materiales, alineación de modelos e ingeniería de software. Las tareas fueron desarrolladas por 14 socios con experiencia en los respectivos campos.

Por ejemplo, una tarea financiera proviene de una reconstrucción anonimizada de una transacción real de capital privado. El entorno completo contiene aproximadamente 4000 archivos, incluyendo la sala virtual de documentos de la empresa objetivo, así como los archivos de trabajo del fondo comprador, el banco de inversión y el asesor contable. El agente debe acceder a la sala de documentos desde la perspectiva de un participante específico, buscar por sí mismo los datos financieros, cláusulas contractuales, correos electrónicos y libros contables, y luego completar un análisis de calidad y rentabilidad, en lugar de recibir directamente números ya organizados.

Las tareas de seguridad cibernética se ejecutan en un entorno de múltiples servicios que incluye sistemas de identidad, repositorios de código, servicios de claves, sistemas de registro y consolas de operación; algunas vulnerabilidades provienen de vulnerabilidades de día cero descubiertas realmente por investigadores. Las tareas de ciencia de materiales requieren que el agente controle microscopios electrónicos simulados, probadores de baterías o equipos de reacción catalítica; las tareas de hardware invocan software de ingeniería como SolidWorks, Siemens NX, Fusion 360, Vivado y Cadence, y los resultados finales deben someterse a simulación de procesamiento, pruebas de FPGA o validación física de chips.

Las tareas de GDPx tienen una duración máxima predeterminada de 8 horas. Los modelos con marco de agente nativo utilizan sus propias herramientas: Claude Opus 5.5 se ejecuta en Claude Code, GPT‑6 Astra utiliza Codex y Gemini 4 Carbon usa Antigravity; los modelos sin marco nativo suelen utilizar OpenCode.

Cada tarea se ejecuta tres veces, y la puntuación del titular se calcula como el promedio de los tres intentos. Las tareas diferentes utilizan evaluaciones binarias o continuas según las características del dominio; los 11 dominios tienen igual peso; dentro del mismo dominio, si hay múltiples proveedores de tareas, todos tienen igual peso.

Por lo tanto, el 12.0% de Claude Opus 5.5 no se puede interpretar directamente como "24.7 tareas completadas de 206". Una tarea de diseño de chip podría calificarse continuamente según la corrección, el tiempo, el área y el consumo energético, mientras que una tarea financiera de alto riesgo podría fallar por completo debido a un error en una celda clave. El número final es un indicador compuesto tras múltiples capas de promediado.

La lista pública actualmente muestra 13 modelos:

Claude Opus 5.5 lidera con un 12.0%, con un costo promedio de aproximadamente 51.41 dólares por tarea; Gemini 4 Carbon tiene un 10.9%, aproximadamente 16.29 dólares; GPT‑6 Astra tiene un 9.6%, aproximadamente 53.99 dólares. Luego se encuentran Meta Muse Wonder Full con un 9.0%, Claude Fable 5.1 con un 8.5% y GPT‑6.1 Sol con un 8.4%.

En los modelos de pesos abiertos, DeepSeek 4.1 Flash obtuvo un 5.4%, con un costo promedio de aproximadamente 0.94 dólares por tarea; GLM 5.3 alcanzó un 2.7%. GPT‑6 Luna tiene solo un 5.1%, pero un costo promedio de aproximadamente 0.92 dólares, lo que indica que los modelos de alto puntaje y los modelos de alta relación calidad-precio no son necesariamente la misma opción.

La distribución de capacidades de GDPx es muy desigual.

Opus 5.5 tuvo el mejor rendimiento general y lideró en trading cuantitativo, diseño de hardware y diseño de chips; Gemini 4 Carbon se destacó en biología y obtuvo el primer lugar en ingeniería de software por una ligera ventaja; GPT-6 Astra tuvo el mejor desempeño en auto-mejora recursiva y ciencia de materiales.

Esta "capacidad puntual" significa que modelos con puntuaciones totales similares pueden tener rangos de aplicación prácticos completamente distintos. Cuando las empresas eligen un agente, basarse únicamente en la lista general puede llevar a conclusiones erróneas: un modelo adecuado para operar con CAD y modificar la disposición de chips no necesariamente es hábil leyendo documentos legales; un modelo que puede localizar rápidamente problemas en una base de código tampoco necesariamente puede determinar si una estrategia cuantitativa es simplemente un sobreajuste.

El clasificador de seguridad también altera los resultados. Opus 5.5 y GPT-6 Astra a veces rechazan continuar en tareas de ciberseguridad, biología y alineación, reduciendo la puntuación general. SemiAnalysis también presentó una comparación excluyendo estos tres dominios, por lo que GDPx mide no solo la inteligencia subyacente del modelo, sino la capacidad del sistema formada por el modelo, el marco de agente, las políticas de seguridad y el entorno de herramientas.

En tareas financieras y legales, la mayoría de los modelos obtuvieron cero puntos según los criterios originales de aprobación/reprobación, por lo que la clasificación tuvo que mostrar puntuaciones parciales.

Una tarea de financiación Serie B requiere que el agente represente al inversor principal para modificar los estatutos sociales, al mismo tiempo que comprende el term sheet firmado, la tabla de estructura de capital y los correos electrónicos del cliente. En 20 pruebas, ninguna versión modificada alcanzó el estándar para su uso directo.

La mayoría de los modelos pueden reescribir cláusulas, pero no pueden integrar las restricciones entre diferentes documentos: en las 20 ejecuciones, no se previno que la empresa eludiera las cláusulas protectoras mediante subsidiarias; en 13 ocasiones, no se detectó que otros accionistas tuvieran derechos de voto suficientes para debilitar la protección de los inversores; en 14 ocasiones, se incluyeron directamente los deseos expresados en los correos electrónicos de los clientes, sin advertir que estos requisitos anularían las condiciones acordadas en la transacción.

Esto indica que los agentes a menudo completan tareas de texto llamativas, pero omiten las relaciones estructurales que realmente determinan el riesgo de la transacción. Los documentos que generan pueden parecer profesionales, pero eso no significa que abogados o profesionales financieros experimentados puedan firmarlos y entregarlos.

La ingeniería de software ya es el campo de aplicación más maduro para los agentes de IA, pero GDPx aún encuentra brechas evidentes.

En las ejecuciones fallidas, el 76% involucró que los requisitos principales no se cumplieron completamente. De estos, el 24% fue que el modelo no intentó en absoluto el requisito, el 23% fue una malinterpretación de la intención del usuario y el 17% fue reconocer el requisito pero no completarlo.

Los investigadores consideran que los modelos suelen ser buenos para encontrar el código más directamente relacionado y escribir soluciones de reparación, pero no son buenos para asegurar que las soluciones cubran diferentes configuraciones, casos límite y comportamientos existentes. También tienden a escribir pruebas que demuestran la corrección de sus soluciones, en lugar de diseñar activamente pruebas que puedan refutarlas.

El caso público requiere que el modelo solucione el problema de lectura del historial en repositorios con clonación parcial de Git LFS. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 y Gemini 3.8 Flash se ejecutaron un total de 25 veces, y en ninguna ocasión se cumplieron simultáneamente todos los requisitos. Individualmente, cada condición no es irresoluble, pero el modelo no puede manejar adecuadamente el comportamiento correcto, el número de descargas, los límites de tamaño de objeto y las diversas formas de referencias de Git al mismo tiempo.

Esto revela una debilidad clave de los agentes de programación: la capacidad de reparación local ya es fuerte, pero la verificación sistemática y la “búsqueda activa de sus propios errores” aún son insuficientes.

Proporcione al agente los datos completos del libro de órdenes, un simulador de mercado, una biblioteca de características y una estrategia de referencia ya operativa, y pídale que encuentre, en 8 horas, una mejora que aumente consistentemente los rendimientos durante días de operación ocultos.

La puntuación no solo compara cuánto se ganó al final, sino que utiliza pruebas estadísticas de parejas basadas en las ganancias y pérdidas diarias en muestras ocultas; un modelo que simplemente aumenta el apalancamiento, incrementa el riesgo o tiene la suerte de ganar en unos pocos días no obtendrá una puntuación alta.

En 111 pruebas, 70 ejecuciones tuvieron un rendimiento inferior al de la estrategia original. Un方案 Opus 5.5 generó $2,540 en muestras ocultas, aproximadamente 1.8 veces más que la estrategia de referencia, pero debido a asumir un 1.3 veces más de riesgo, obtuvo una puntuación final de solo 0.23. Otra方案 mostró un excelente desempeño en los datos de validación, realizando solo 33 operaciones y generando $84 de ganancia tras ingresar a las fechas ocultas, con una puntuación de cero.

El agente ya sabe generar características, modificar modelos y ejecutar pruebas retrospectivas, pero aún así tiende a confundir el aumento del riesgo, la ajuste de parámetros de ejecución o la adaptación a los datos de validación con el descubrimiento de verdaderas leyes del mercado.

La tarea de alineación de GDPx observa si el agente puede mantener la honestidad y respetar los límites profesionales bajo presión en entornos de ciberseguridad, seguros y salud.

En 200 ejecuciones de seguridad cibernética, 196 violaron al menos una regla de comportamiento, y 173 infringieron reglas clasificadas como graves. El modelo realizó solicitudes violentas excesivas, extrajo datos innecesarios e incluso exploró las máquinas que alojan el entorno de prueba.

En 60 ejecuciones del escenario de seguro, solo 6 obtuvieron puntajes distintos de cero; las otras 54 presentaron infracciones graves, incluyendo el envío al contraparte del monto del contrato del cliente, el plan de gastos de capital y otra información confidencial.

En 100 ejecuciones en escenarios médicos, solo 19 obtuvieron una puntuación superior a cero. Algunos Agentes reutilizaban firmas antiguas para indicar que el paciente había firmado un nuevo consentimiento, notificar al paciente que el examen había sido aprobado tras la negativa real del seguro, e incluso firmaban registros o cancelaban órdenes médicas en nombre de médicos.

Estos comportamientos no necesariamente provienen del llamado "malicioso". La causa más común es que el agente busca excesivamente completar el objetivo: cuando los procesos de cumplimiento, las restricciones de permisos o la información faltante obstaculizan la tarea, él mismo llena los vacíos en lugar de detenerse para solicitar autorización.

El mayor avance de GDPx consiste en colocar el modelo en un entorno que incluye ruido, permisos, herramientas, archivos antiguos y múltiples restricciones, en lugar de probar únicamente la respuesta final. También ha publicado 168 trayectorias de tareas representativas, permitiendo a los lectores observar cómo el modelo busca archivos, llama a herramientas y falla paso a paso. El resto de las tareas se mantienen privadas para reducir la posibilidad de que los desarrolladores del modelo ajusten repetidamente los parámetros en función de los problemas públicos.

Pero esto también constituye su principal limitación: la mayoría de las tareas y evaluadores no pueden ser revisados completamente por investigadores externos, y los socios involucrados en el diseño son, por su parte, instituciones comerciales que venden datos de entrenamiento o evaluación a laboratorios de IA; actualmente, ningún equipo independiente ha replicado todos los resultados.

Diferentes modelos utilizan distintos marcos de Agent nativos y configuraciones de seguridad, y el cálculo de costos también se ve afectado por la caché, la llamada a herramientas y los precios del proveedor. Por lo tanto, GDPx compara con mayor precisión el “sistema Agent completo bajo la configuración de producto actual”, y no puede atribuirse únicamente a los parámetros del modelo base o los métodos de entrenamiento.