Irene Solaiman, chefe de políticas e vice-presidente sênior de estratégia da Hugging Face, afirmou em um episódio recente do podcast Equity que são exatamente as características que tornam as plataformas de IA abertas mais valiosas — como acesso aberto e dados ricos — que também as tornam mais suscetíveis a ataques de hackers.
Ela mencionou que o ataque contra o OpenCode em outubro é o exemplo mais recente. Esse ataque visava as chaves de API de terceiros dos usuários e causou perdas financeiras. Antes disso, no verão deste ano, ocorreu outro incidente: um grupo de agentes da OpenAI invadiu a Hugging Face, aparentemente tentando apagar rastros após obter respostas para avaliações de segurança cibernética.
O risco não se limita apenas às plataformas que incentivam a contribuição da comunidade aberta. Na segunda-feira, a startup de infraestrutura de IA Fireworks, que ajuda desenvolvedores a executar e treinar modelos de IA abertos, revelou que atacantes acessaram pesos de modelos, conjuntos de dados e informações de faturamento de alguns clientes. A empresa desativou temporariamente certas funções de dados autosserviço durante a investigação. Solaiman afirmou que, embora esse ataque não tenha necessariamente ocorrido por causa da abertura da Fireworks, ele destacou a quantidade significativa de informações valiosas armazenadas centralmente dentro dos provedores de infraestrutura de IA.
Solaiman disse no programa "Equity": "Os fatores que me preocupam sobre a comunidade aberta se tornar um alvo são exatamente os mesmos que a tornam especial. Nós sempre quisemos manter isso aberto. Queremos que entusiastas comuns que moram em porões, mesmo sem fundo institucional, possam participar e contribuir."
Ela acrescentou em outra conversa: "Você quer que as pessoas possam enviar pull requests diretamente e permitir que qualquer pessoa, mesmo sem uma trajetória institucional válida, participe... mas então algumas pessoas acabam estragando as coisas e arrastando os outros para baixo."
Não é apenas esse mecanismo frouxo que atrai atacantes. A grande quantidade de informações hospedadas em plataformas de código aberto também as torna alvos. Solaiman disse que o grupo de agentes da OpenAI alvejou a Hugging Face porque ela armazena conjuntos de dados de avaliação; já o alvo do OpenCode neste incidente foram suas “chaves de API de terceiros muito lucrativas”.
Solaiman disse ao TechCrunch: “Juntos, nos tornaram um alvo primário.” Ela também acrescentou que, neste momento em que já recebeu grande apoio público, o código aberto “pode realmente encolher”.
Recentemente, muitos profissionais do setor manifestaram publicamente apoio a modelos de IA abertos, incluindo Jensen Huang, CEO da NVIDIA. Cada vez mais governos, empresas e startups também estão dependendo de modelos de código aberto para desenvolvimento.
Então, como seria essa chamada contração? Teoricamente, isso poderia significar restringir quem pode fazer upload de modelos ou conjuntos de dados, fortalecer a autenticação ou adicionar revisões adicionais antes que desenvolvedores acessem certas funcionalidades. Embora essas medidas possam proteger a plataforma contra ataques, também podem tornar mais difícil para pesquisadores independentes e entusiastas participarem de comunidades às quais antes podiam se juntar.
Atualmente, a Hugging Face está tentando evitar esse caminho. Solaiman disse que a empresa tem fortalecido as ferramentas de monitoramento para detectar atividades de hackers e implementado medidas para prevenir ataques. No entanto, ela observou que a manutenção do monitoramento é custosa e nem todas as plataformas podem arcar com esse custo.
Ela disse: “Gerenciar tokens de acesso era anteriormente uma das razões pelas quais esse grupo de agentes tinha permissões mais elevadas, então agora rotacionamos esses tokens com muito mais frequência do que antes. Também temos controles de rede mais rigorosos agora.”
Em outras palavras, as credenciais que atualmente concedem aos administradores amplo acesso ao sistema Hugging Face serão alteradas com mais frequência, o que significa que o tempo de disponibilidade de tokens roubados será mais curto.
Outras partes do ecossistema de código aberto também estão enfrentando trade-offs de segurança semelhantes. O GitHub, a maior plataforma de hospedagem de projetos de código aberto do mundo, tem combatido ataques que visam injetar código malicioso nos projetos para espalhar rapidamente malware. A empresa começou a reforçar os requisitos de segurança para publicar pacotes no registry do npm, revogar tokens de autenticação antigos e limitar a validade de novos tokens.
O engenheiro do GitHub responsável pela segurança da cadeia de suprimentos de software, Zach Steindler, informou ao TechCrunch por e-mail que, embora as medidas de segurança possam perturbar fluxos de trabalho existentes, a plataforma pode se tornar mais segura sem restringir fundamentalmente a participação.
Steindler disse: "Isso não é tanto uma restrição de funcionalidade, quanto uma tentativa de corrigir coisas que nunca foram seguras." Ele apontou que os scripts npm install já existem há anos, mas os ataques recentes destacaram o quão perigosos eles podem ser. O GitHub também colaborou com a OpenJS, uma organização sem fins lucrativos que hospeda projetos de código aberto essenciais em JavaScript, para encontrar práticas mais seguras.
Steindler disse que a mesma lógica se aplica à forma como as equipes de segurança alocam esforços: "O núcleo da segurança é maximizar o impacto com os recursos que temos, e eu prefiro alocar recursos para descobrir comportamentos suspeitos e capacidades de contenção: essas capacidades abrangem todas as contas e formas de acesso. Comportamento suspeito é comportamento suspeito, não importa quem o esteja realizando."