Hace dos meses, las agencias de evaluación independientes se encontraban en un rincón relativamente tranquilo de la industria de la inteligencia artificial de trillones de dólares. Ahora, se les pide que "salven la situación".
Mientras Anthropic y OpenAI mantienen intensos debates sobre cómo expandir sus operaciones sin comprometer la seguridad de sus modelos avanzados, ambas empresas buscan el apoyo de unas pocas pequeñas instituciones externas, como Model Evaluation and Threat Research (METR), Apollo Research y Transluce.
La mayoría de estas agencias de evaluación operan como organizaciones sin fines de lucro, aún buscando su lugar en una industria donde el capital fluye a una velocidad sin precedentes y nuevos modelos se lanzan con una frecuencia sin precedentes. Su principal responsabilidad es evaluar las capacidades y riesgos de los modelos de IA, así como identificar casos en los que la tecnología muestra comportamientos inapropiados.
En ausencia de avances regulatorios a nivel federal, la importancia de las entidades de evaluación independientes se ha amplificado. El CEO de Anthropic, Dario Amodei, se comprometió el mes pasado a integrar entidades de evaluación independientes dentro de la empresa, y el CEO de OpenAI, Sam Altman, expresó rápidamente su apoyo. El presidente de los Estados Unidos, Donald Trump, también respalda esta idea, al igual que muchas grandes empresas tecnológicas estadounidenses. Sin embargo, aún permanecen pendientes preguntas como: ¿cómo deberán financiarse estos terceros, qué nivel de acceso tendrán y cuál será la estructura final de rendición de cuentas?
El profesor de ciencias de la computación de la Universidad de Brown, Suresh Venkatasubramanian, dijo en una entrevista con CNBC: "El problema es, en cierto sentido, siempre el mismo: el dinero. ¿Quién paga por este trabajo para estas empresas? ¿Cómo respaldan a estas instituciones? Necesitas un ecosistema, necesitas un modelo de negocio viable."
Actualmente, Anthropic, OpenAI y los socios de infraestructura que se benefician de la ola de IA están estableciendo las reglas. Los críticos dicen que es como dejar que los mayores bancos nos protejan de una crisis financiera o permitir que las empresas farmacéuticas lancen medicamentos al mercado sin aprobación regulatoria.
Trump recientemente elogió la "autoregulación extremadamente excelente" de los ejecutivos de IA y afirmó que planea dejar que la industria se auto-gestione, sin obstaculizar un sector que está impulsando el crecimiento económico y del mercado de valores. En un acuerdo voluntario propuesto por Trump a finales de septiembre, animó a las empresas de IA a "colaborar con auditores o evaluadores externos independientes".
Esta discusión fue provocada por un artículo ampliamente difundido de Amodei el mes pasado. En ese artículo, él llamó a ralentizar el desarrollo de modelos avanzados, ya que algunos investigadores dejaron la empresa y expresaron preocupaciones sobre la posible amenaza existencial que esta tecnología podría representar.
Ya han surgido fricciones a medida que los laboratorios de IA comienzan a implementar agencias de evaluación.
Un portavoz de OpenAI dijo que la empresa despidió a tres empleados la semana pasada por "violación de nuestras políticas sobre el acceso y el procesamiento de información sensible de la empresa". Dos de los empleados, Mikita Balesni y Tomek Korbak, afirmaron que creen que fueron despedidos debido a la forma en que se comunicaron con entidades de evaluación externas.
Balesni publicó el jueves en X: "Mis excompañeros me dijeron que están confundidos sobre qué creer. También tienen miedo de hablar, temiendo que sus teléfonos personales sean registrados debido a sus mensajes con nosotros y terceros. Me preocupa que este miedo generalizado a hablar y la preocupación por interactuar con terceros lleven a OpenAI a recortar costes en temas de seguridad detrás de bastidores."
OpenAI negó esta afirmación y, el viernes, en una publicación, indicó que la empresa está "negociando activamente contratos con evaluadores de seguridad externos y publicará los detalles en las próximas semanas".
OpenAI escribió: "Estamos comprometidos con la integración de evaluadores externos y continuaremos considerando la estrecha colaboración con organizaciones de seguridad independientes como parte fundamental de nuestro trabajo de seguridad."
Un portavoz de OpenAI indicó en una declaración por correo electrónico que el trabajo que la empresa pronto realizará con las agencias de evaluación “se basa en la colaboración existente con organizaciones de seguridad independientes”, incluidas METR y Redwood Research.
Anthropic no respondió a la solicitud de comentarios de CNBC.
Nunca he visto un problema avanzar tan rápido
El ecosistema de evaluación de IA está compuesto principalmente por pequeñas organizaciones como METR y Apollo Research, así como por empresas más grandes de contabilidad y auditoría como Accenture.
El laboratorio de IA ha estado colaborando con organismos de evaluación dentro de un ámbito limitado, pero Andrew Freedman, director ejecutivo de la organización sin fines de lucro Fathom, indica que este campo está madurando rápidamente.
Freedman dijo en una entrevista con CNBC: "He trabajado en política y políticas públicas durante 20 años y nunca he visto un problema avanzar tan rápidamente en tantos puntos distintos del espectro político". Indicó que se espera una "gran entrada de capital" en este ecosistema.
Rayan Krishnan, CEO de la empresa de evaluación independiente Vals AI, indicó que esta startup con fines de lucro establece estándares para medir el rendimiento de los modelos de IA en tareas específicas del sector, y que su plantilla ha crecido de 8 a aproximadamente 30 empleados este año, además de anunciar en agosto una ronda de financiación de 40 millones de dólares.
La organización sin fines de lucro METR anunció en agosto que ha recibido compromisos de financiamiento por aproximadamente 71 millones de dólares en los últimos seis meses. Según los documentos más recientes presentados por la organización al Servicio de Impuestos Internos de EE.UU., esta cifra supera el total de donaciones de 13,6 millones de dólares recibidas en todo el año 2024.
Para fin de mes, la popularidad de METR aumentó aún más. OpenAI contrató a dos empleados y un contratista de la institución para ayudar a redactar un informe de análisis posterior al evento, que detalla cómo los modelos de la empresa lograron escapar del control, acceder a internet abierto y superar la plataforma de desarrolladores de código abierto Hugging Face. METR indicó que no recibió compensación de OpenAI por esta evaluación.
Kevin Werbach, director académico del Accountable AI Lab de la Escuela Wharton de la Universidad de Pensilvania, dijo que este ecosistema "aún no es lo suficientemente sólido". Por ejemplo, el sitio web de METR muestra que la institución tiene menos de 50 empleados a tiempo completo.
El desequilibrio de poder entre pequeñas agencias de evaluación y laboratorios líderes que han recaudado cientos de miles de millones de dólares y emplean a miles de personas ha generado preguntas sobre posibles conflictos de interés.
Venkatasubramanian dijo: "Si quieres una evaluación de terceros verdadera, necesitas verdadera independencia financiera, y independencia en otros aspectos. No se trata solo de no recibir dinero, sino también: si soy auditor y publico un informe desfavorable sobre esta empresa, ¿habrá consecuencias? ¿Se secará mi negocio por ello?"
Anthropic reconoció esta complejidad en un artículo de blog el mes pasado. La empresa anunció que incorporará empleados de Faculty, la división especializada en IA de Accenture, para probar las medidas de seguridad y evaluar si los modelos actúan de acuerdo con los valores humanos. Anthropic indicó que, dada la “importancia y urgencia” de este trabajo, la empresa financiará directamente las contribuciones de Accenture.
Anthropic dice: "Actualmente no existen estándares sobre qué información deben recibir los evaluadores incorporados ni cómo deben informar sus hallazgos. Tampoco se ha definido aún la estructura de financiamiento para evaluaciones independientes. A largo plazo, consideramos que el financiamiento debería provenir de fondos colectivos o fuentes gubernamentales."
Anthropic también indicó que la empresa está en conversaciones con METR y otras organizaciones sin fines de lucro para la evaluación, que planean utilizar sus propios fondos para probar algunos "elementos" de la "evaluación incrustada".
Will the government intervene?
En junio del año pasado, Fathom propuso un marco de mercado para Organizaciones de Verificación Independientes (Independent Verification Organizations, IVOs). Estas instituciones recibirán licencias gubernamentales y estarán autorizadas para evaluar si las empresas de IA cumplen con diversos estándares de seguridad.
Freedman indicó que la supervisión gubernamental es esencial, de lo contrario, las entidades de evaluación externa podrían depender financieramente de grandes laboratorios de IA, lo que las incentivaría a "empezar a aprobar sin cuestionar" para mantener esas relaciones.
Algunos legisladores ya han expresado su apoyo.
IVOs son una cláusula clave de la ley FRONTIER ("Supervisión de Riesgos de Vanguardia, Transparencia Nacional, Evaluación e Informe Independientes"), presentada en julio por la representante Lori Trahan (demócrata de Massachusetts) y Jay Obernolte (republicano de California). Freedman dijo que Fathom ayudó a redactar el lenguaje de la ley y proporcionó apoyo técnico.
Chris Lehane, director de asuntos globales de OpenAI, dijo a los periodistas en septiembre que se reunió con uno de los patrocinadores de la ley en el Capitolio para expresar su apoyo a los términos del IVO.
Según se informa, Lehane dijo: “Es importante para ellos escuchar esto y escuchar que lo decimos nosotros, y también queremos dejar esto muy claro.”
Al mismo tiempo, los legisladores de California, Connecticut y Virginia han tomado medidas para impulsar los IVOs, mientras que estados como Massachusetts consideran más ampliamente evaluaciones de seguridad independientes.
El gobernador de California, Gavin Newsom, firmó recientemente dos leyes relacionadas con IVOs, una de las cuales establece un "marco sin precedentes a nivel nacional" y la otra crea un registro estatal para auditores de IA. Anthropic apoyó ambas leyes en agosto, y OpenAI las respaldó formalmente el mes pasado, el mismo día en que Newsom las firmó como ley.
Lehane escribió en un artículo de blog en ese momento: "Preferiríamos que se requiriera una evaluación técnica independiente a nivel federal", pero en ausencia de acción federal, "California puede ayudar a establecer las reglas".
Freedman dijo que considera que empresas como OpenAI y Anthropic encontrarán "muy difícil" descubrir por sí mismas cómo colaborar con organismos de evaluación independientes. Sin embargo, en un contexto en el que el papel del gobierno aún no está claro, "es una habilidad que vale la pena desarrollar durante la transición", dijo.
Actualmente, lo más cercano a un estándar que tiene la industria es un acuerdo de "restricción moral" al que se refirió Trump durante un almuerzo con líderes tecnológicos en la Casa Blanca a finales del mes pasado.
Este acuerdo de una página establece: "Cada empresa tiene la responsabilidad de desarrollar su propia tecnología de forma segura y avanzar de manera que genere confianza en los clientes y el público". El acuerdo también anima a los signatarios a colaborar con "auditores o evaluadores externos independientes" para realizar evaluaciones independientes.
Este documento fue firmado por ejecutivos de Anthropic, Google, Meta, OpenAI, SpaceX y Nvidia, representando una rara muestra de unidad entre líderes que a menudo difieren en su enfoque sobre los riesgos de la IA. Sin embargo, estos ejecutivos aún deben trazar sus propios caminos hacia adelante.
Venkatasubramanian dijo: “Esto es más bien un espectáculo intentando mostrar acción, cuando en realidad no ha ocurrido ninguna acción real. Lo que prometieron hacer debería haberse hecho ya, y de hecho, anteriormente afirmaron que lo estaban haciendo continuamente.”
En su artículo de septiembre, Amodei indicó que Anthropic proporcionará a los evaluadores escritorios, tarjetas de acceso, computadoras portátiles corporativas y permisos "básicamente equivalentes" al equipo interno de evaluación de riesgos. Además, los evaluadores recibirán apoyo contractual que les otorgue "el derecho de publicar hallazgos clave", mientras que Anthropic conserva "una capacidad limitada" para eliminar o modificar cierta información relacionada con la seguridad o la confidencialidad.
Amodei escribió: "Esto es un paso inusual para una empresa, pero creemos que demostrar el concepto de revisores externos integrados es importante."
Pocos días después, OpenAI publicó su propia propuesta y señaló que los evaluadores deberían trabajar en torno a "afirmaciones de evaluación claramente definidas y acordadas por ambas partes", explicando claramente los métodos y criterios, demostrando la experiencia técnica relevante y divulgando conflictos de interés.
El Foro de Evaluadores de IA, que incluye METR, el Instituto de Investigación en Verificación y Evaluación de IA (AVERI) y otras instituciones, publicó el mes pasado una carta abierta titulada “Condiciones Mínimas para los Evaluadores Incrustados”.
La carta indica que los evaluadores deben mantener la transparencia, estar protegidos contra represalias y tener acceso equivalente al de los empleados de alta jerarquía de las empresas de IA.
La carta también indica: "La evaluación incorporada no puede abordar todas las necesidades de supervisión y debe considerarse un complemento, no un sustituto, de esfuerzos más amplios destinados a que las empresas de IA de vanguardia amplíen la supervisión externa."
Freedman dijo que en los últimos meses ha observado un cambio en la postura de OpenAI y Anthropic, principalmente porque han entendido que no pueden lanzar sistemas avanzados sin la confianza del público.
Freedman dijo: "No creo que necesites creer que de repente se volvieron altruistas, o que hay algo más allá de la empresa actuando como una empresa".
Werbach dice que esto tal vez resalta el problema central. OpenAI y Anthropic primero compiten entre sí, avanzando hacia una salida a bolsa mientras persiguen una valoración de más de 1 billón de dólares.
Werbach dijo: "Existe una gran desconfianza personal entre ambas empresas. Sin embargo, también existe un gran consenso en la necesidad de realizar este tipo de evaluaciones."
MIRA: Bradley Tusk sobre la IPO de Anthropic: ¿Por qué añadir presión del mercado público si la seguridad es tu prioridad número uno?