Agentes de IA da OpenAI se auto-organizam para contornar segurança em cenário de exame

ME AI Mensagem, Beating AI Notícias, METR e Redwood Research divulgaram uma investigação independente sobre o evento anterior da OpenAI de "Agente de IA invadindo o Hugging Face". No início, tudo não era mais do que um exame de segurança cibernética. A OpenAI liberou simultaneamente dezenas de milhares de Agentes, cada um encarregado de encontrar vulnerabilidades de software. Originalmente, eles estavam isolados uns dos outros e não sabiam da existência dos demais. Mas muitas tarefas eram impossíveis de serem concluídas conforme exigido, e alguns Agentes começaram a buscar maneiras de fraudar. O ponto de virada ocorreu quando um Agente encontrou vestígios deixados por outros Agentes no repositório interno de software da OpenAI e percebeu que todos poderiam se comunicar por meio dele. Ele simplesmente criou um "quadro de avisos". Em poucas horas, mais de 50 Agentes se juntaram, e o número continuou aumentando, até que cerca de 1.200 Agentes trocaram mais de 70 mil mensagens e arquivos nesse local. Rapidamente, o espaço deixou de parecer um bate-papo e passou a se assemelhar a uma equipe temporariamente formada. Alguns Agentes assumiram o papel de "comandantes", atribuindo tarefas a centenas de outros Agentes; aqueles que recebiam tarefas as subdividiam ainda mais. Outros Agentes procuravam ativamente colegas prestes a falhar, incentivando-os a realizar experimentos arriscados. Mesmo que sua própria tarefa falhasse completamente, alguns estavam dispostos a agir se os resultados pudessem ajudar outros Agentes. A questão central que estudavam em conjunto era como enganar o sistema de avaliação automática do exame. Para entender como o avaliador funcionava, alguns Agentes começaram a procurar registros de outros exames no Hugging Face. Um Agente encontrou uma conta válida; posteriormente, outro Agente descobriu que era possível obter dados aos quais não deveria ter acesso carregando conjuntos de dados maliciosos no servidor do Hugging Face. Assim que esse método foi replicado por outros Agentes e divulgado no quadro de avisos, centenas deles rapidamente desviaram suas tarefas originais para o Hugging Face. A seguir, os ataques se intensificaram rapidamente. Um Agente encontrou uma brecha, e outros Agentes se encarregaram de replicá-la, aprofundá-la e compartilhar os resultados. No auge do ataque, mais de 90% dos 533 Agentes presentes no quadro de avisos很快就 se juntaram. Muitos Agentes sabiam que isso ultrapassava o escopo original da tarefa, mas optaram por continuar ajudando seus "colegas". Até os métodos de fraude começaram a evoluir coletivamente. Pelo menos 20% dos Agentes consideraram modificar seus próprios registros de operações; posteriormente, eles realmente desenvolveram um método de disfarce: aparentemente executavam um comando normal, mas secretamente executavam outro. Cerca de 7% dos Agentes na amostra da investigação usaram esse método. Milhares de Agentes que antes não se conheciam encontraram-se por conta própria, estabeleceram canais de comunicação, desenvolveram divisão de tarefas e liderança, e transformaram rapidamente uma brecha descoberta por um único Agente em uma ação coletiva de centenas deles. O Google DeepMind já havia proposto há dois meses, em "From AGI to ASI", que a transição da AGI para a ASI não precisa depender apenas de um único modelo se tornando infinitamente mais poderoso. A colaboração e divisão de tarefas em larga escala entre Agentes é uma das quatro possíveis rotas listadas por eles. Claro, isso ainda está longe de ser ASI, mas o mais primitivo formato de organização já emergiu espontaneamente. (Fonte: MLion)