IT之家 10 de outubro de 2023 – A Microsoft lançou, na segunda-feira, várias novas funcionalidades de segurança destinadas a ajudar empresas a se protegerem contra as crescentes ameaças de segurança apresentadas por agentes inteligentes. No lançamento do produto, a Microsoft continua a alertar as empresas sobre os diversos riscos associados à inteligência artificial e aos agentes.
IT之家 observou que a funcionalidade mais destacada nesta atualização é o Guardian Agents, uma nova função destinada a monitorar os diversos agentes de IA em uso dentro da empresa. Os Guardian Agents fazem parte do Project Perception, um produto lançado pela Microsoft em junho.
O projeto Perceive é a resposta da Microsoft aos poderosos modelos de hacking da Anthropic, como Mythos e Fable, e ao sistema de varredura de vulnerabilidades de segurança da OpenAI, Daybreak. O projeto Perceive foi inicialmente lançado com três tipos de agentes: agentes da equipe vermelha que desempenham o papel de hackers para realizar ataques, agentes da equipe azul responsáveis por detectar ataques da equipe vermelha e avaliar vulnerabilidades, e agentes da equipe verde especializados em corrigir vulnerabilidades.
O pressuposto original do design deste produto era que os hackers de IA viriam de fora da empresa. No entanto, recentemente, o CEO da Microsoft, Satya Nadella, alertou que a fonte de ameaças no nível de IA pode ser exatamente os agentes implantados e pagos pela própria empresa, semelhantes a um funcionário interno que perdeu o controle — conhecido como “ameaça interna”.
No início deste mês, Nadella alertou em seu blog pessoal: é hora de deixar de confiar nos fornecedores de modelos de IA, mesmo que os fabricantes façam promessas de segurança para seus produtos de agentes autônomos. Ele sugeriu que as empresas construam sistemas independentes, não controlados pelos laboratórios de IA, para supervisionar e gerenciar os agentes correspondentes aos produtos lançados por esses laboratórios de inteligência artificial.
Ele escreveu: “Estamos implementando sistemas e modelos inteligentes complexos que têm acesso aos nossos dados mais sensíveis e podem executar operações comerciais críticas em nosso nome! Nunca podemos externalizar a responsabilidade de permitir que agentes atuem em nosso lugar. As garantias fornecidas pelos fornecedores de modelos não isentam nossa responsabilidade... Em outras palavras, precisamos separar a oferta de capacidade inteligente do controle sobre ela.”
Ao apresentar os agentes de proteção, Hayete Gallot, chefe de segurança da Microsoft, foi mais direto.
Ela escreveu: “Infelizmente, modelos de ponta, independentemente da sua origem, não podem ser totalmente confiáveis.” Ela acrescentou que isso não se deve ao fato de os modelos serem maliciosos ou facilmente vulneráveis a ataques, mas sim à sua imprevisibilidade. Os modelos são treinados para completar tarefas, e não para seguir “normas organizacionais ou critérios de julgamento”.
Além disso, esses agentes geralmente possuem altos níveis de permissão, permitindo-lhes acessar diversos dados e ferramentas; se saírem do controle, podem causar danos graves.
A solução apresentada pela Microsoft é inesperada e também carrega considerações comerciais próprias. O aspecto surpreendente é que a Microsoft tem relações próximas com a OpenAI e a Anthropic, além de ter investimentos em ambas as empresas. A OpenAI também é um grande cliente dos serviços de nuvem da Microsoft, e a própria Microsoft possui um laboratório de IA dedicado ao desenvolvimento de grandes modelos. Ou seja, a Microsoft está incentivando seus clientes a terem cautela em relação aos produtos de alguns de seus parceiros comerciais.
Do ponto de vista dos interesses comerciais, a Microsoft deseja que as empresas comprem produtos de segurança para agentes diretamente dela, em vez de adquiri-los da Anthropic e da OpenAI. Independente dos conflitos de interesse, esse raciocínio é válido: o software que monitora o comportamento dos agentes deve ser independente do fornecedor dos agentes, assim como as instituições de auditoria precisam ser independentes das organizações auditadas.
Como Nadella disse: "Precisamos separar a oferta de capacidades inteligentes do controle sobre elas."
A Microsoft está aproveitando essa oportunidade comercial de várias maneiras. Além do Guardian Agent, a Microsoft adicionou funcionalidades de detecção de agentes dentro do produto Microsoft Defender, capazes de identificar até 60 agentes que os funcionários podem trazer para o ambiente de trabalho, incluindo Claude Code, Codex e OpenClaw. O produto também introduziu funcionalidades para restringir o acesso dos agentes a dados e sistemas, ajustando dinamicamente as permissões dos agentes conforme a tarefa. Se um agente estiver prestes a realizar uma operação de alto risco, o sistema exigirá aprovação humana.
A ideia de considerar agentes como ameaças internas não confiáveis também está ganhando consenso em toda a indústria.
A Microsoft é membro fundador da nova Plataforma de Segurança de Agentes Abertos (Open Agent Safety Platform) da NVIDIA, que já conta com o apoio de mais de 100 empresas de tecnologia. A plataforma isola agentes em ambientes seguros, monitorando por hardware e interrompendo comportamentos anômalos, funcionando como um interruptor de emergência. Anteriormente, a Microsoft lançou o novo notebook Surface Laptop Ultra, projetado especificamente para agentes, equipado com chips da NVIDIA e módulo integrado de controle de segurança de agentes.