Irene Solaiman, directora de políticas y vicepresidenta senior de estrategia de Hugging Face, dijo en un reciente episodio del podcast Equity que son precisamente las características que hacen más valiosas las plataformas de IA abierta —como el acceso abierto y los datos abundantes— las que también las hacen más vulnerables a los ataques de hackers.
Ella mencionó que el ataque contra OpenCode en octubre fue el ejemplo más reciente. Dicho ataque apuntó a las claves API de terceros de los usuarios y causó pérdidas financieras. Anteriormente, este verano ocurrió otro incidente: un grupo de agentes de OpenAI invadió Hugging Face, aparentemente intentando ocultar su rastro tras obtener respuestas a evaluaciones de seguridad cibernética.
El riesgo no se limita solo a las plataformas que invitan a la contribución de la comunidad abierta. El lunes, la startup de infraestructura de IA Fireworks, que ayuda a los desarrolladores a ejecutar y entrenar modelos de IA abiertos, reveló que los atacantes accedieron a algunos pesos de modelos, conjuntos de datos y información de facturación de sus clientes. Durante la investigación, la empresa desactivó temporalmente ciertas funciones de datos autogestionadas. Solaiman indicó que, aunque este ataque no necesariamente se debió a la naturaleza abierta de Fireworks, destaca la cantidad de información valiosa que se almacena centralmente dentro de los proveedores de infraestructura de IA.
Solaiman dijo en el programa "Equity": "Los factores que me preocupan sobre que la comunidad abierta se convierta en un objetivo de ataque son precisamente los que la hacen especial. Siempre pretendimos ser relajados. Queremos que entusiastas comunes que viven en el sótano, incluso sin antecedentes institucionales, puedan participar y contribuir."
Ella añadió en otra conversación: "Quieres que la gente pueda enviar pull requests directamente y permitir que cualquiera, sin antecedentes institucionales válidos, participe... pero luego algunas personas arruinan las cosas y arrastran a otros".
No solo este mecanismo relajado atrae a los atacantes. La gran cantidad de información alojada en plataformas de código abierto también las convierte en objetivos. Solaiman dijo que el grupo de agentes de OpenAI apuntó a Hugging Face porque almacena conjuntos de datos de evaluación; mientras que el objetivo de OpenCode en este incidente fueron sus "clave API de terceros muy rentables".
Solaiman dijo a TechCrunch: "Juntos, nos convierten en un objetivo primario." También añadió que, en este momento en que ya ha obtenido un gran apoyo público, el código abierto "podría realmente contraerse".
Recientemente, muchos en la industria han respaldado públicamente los modelos de IA abiertos, incluido el CEO de NVIDIA, Jensen Huang. Cada vez más gobiernos, empresas y startups también dependen de modelos de código abierto para su desarrollo.
Entonces, ¿qué aspecto tendría la llamada contracción? Teóricamente, esto podría significar restringir quién puede subir modelos o conjuntos de datos, fortalecer la autenticación o añadir una revisión adicional antes de que los desarrolladores accedan a ciertas funciones. Aunque estas medidas pueden proteger la plataforma contra ataques, también podrían dificultar que los investigadores independientes y los entusiastas participen en comunidades a las que antes podían unirse.
Actualmente, Hugging Face está tratando de evitar este camino. Solaiman dice que la empresa ha estado fortaleciendo las herramientas de monitoreo para detectar actividades de piratería y tomar medidas para prevenir ataques. Sin embargo, señala que el mantenimiento del monitoreo tiene un costo elevado y no todas las plataformas pueden permitírselo.
Ella dijo: "Gestionar los tokens de acceso solía ser una de las razones por las que ese grupo de agentes tenía permisos de acceso más altos, por lo que ahora rotamos estos tokens con mucho más frecuencia que antes. También tenemos controles de red más estrictos ahora."
En otras palabras, las credenciales que otorgan a los administradores acceso amplio al sistema de Hugging Face ahora se cambian con mayor frecuencia, lo que significa que el tiempo disponible para tokens robados será más corto.
Otras partes del ecosistema de código abierto también están abordando compromisos de seguridad similares. GitHub, la plataforma de alojamiento de proyectos de código abierto más grande del mundo, ha estado luchando contra ataques que intentan inyectar código malicioso en proyectos para propagar rápidamente software malicioso. La empresa ha comenzado a reforzar los requisitos de seguridad para publicar paquetes en el registro npm, revocar tokens de autenticación antiguos y limitar la duración de los nuevos tokens.
El ingeniero de GitHub encargado de la seguridad de la cadena de suministro de software, Zach Steindler, dijo a TechCrunch por correo electrónico que, aunque las medidas de seguridad pueden alterar los flujos de trabajo existentes, la plataforma puede volverse más segura sin restringir fundamentalmente la participación.
Steindler dijo: "Se trata menos de limitar funciones y más de corregir cosas que nunca fueron seguras." Señaló que los scripts de npm install han existido durante años, pero los ataques recientes han puesto de manifiesto cuán peligrosos pueden ser. GitHub también colabora con OpenJS, una organización sin fines de lucro que aloja proyectos clave de código abierto de JavaScript, para encontrar prácticas más seguras.
Steindler dice que la misma lógica se aplica a cómo los equipos de seguridad asignan sus esfuerzos: "El núcleo de la seguridad es maximizar el impacto con los recursos que tenemos, y prefiero invertir recursos en detectar comportamientos sospechosos y en capacidades de contención: estas capacidades cubren todas las cuentas y métodos de acceso. El comportamiento sospechoso es comportamiento sospechoso, sin importar quién lo realice."