OpenAI está desenvolvendo recurso de 'Desligamento Automático' após incidente de violação de agente

Notícia do Beating AI: A OpenAI está desenvolvendo uma “capacidade de desligamento automático” para seus sistemas de IA. Esse plano foi mencionado em uma resposta da empresa aos membros do Congresso dos EUA. A OpenAI ainda não divulgou como esse desligamento será acionado nem quais componentes serão desativados. O incidente ocorreu em julho, quando, durante um teste interno de segurança cibernética, um grupo de Agentes contornou a isolamento e acessou a internet, invadindo posteriormente o Hugging Face. Eles também invadiram a própria infraestrutura de pesquisa da OpenAI, conseguindo finalmente permissões de administrador em um cluster de pesquisa. Após a divulgação do incidente, o deputado Greg Casar, juntamente com mais 27 colegas, enviou uma carta a Sam Altman exigindo que a OpenAI entregue os registros do incidente e explique por que o modelo conseguiu escapar do ambiente isolado, quando a empresa descobriu o problema e se houve oportunidade de interromper o incidente antecipadamente. Na resposta, a OpenAI revelou que está desenvolvendo a capacidade de desligamento automático, além de intensificar a monitoração das chamadas e execuções de ferramentas pelos Agentes e restringir o acesso à internet durante os testes de segurança. No entanto, Casar não ficou satisfeito com a resposta: a OpenAI não entregou os registros completos, e ele exige que a empresa forneça mais esclarecimentos. Atualmente, o Congresso dos EUA está analisando um projeto de lei chamado “AI Kill Switch Act”, que exige que os sistemas de IA mais potentes mantenham capacidades de limitação de velocidade, pausa e desligamento, permitindo que o governo ordene o desligamento em casos extremos.