A Amazon lançou o AWS Emulator em 11 de novembro para permitir que desenvolvedores testem aplicativos em nuvem localmente, simulando serviços da AWS. A Amazon afirma que agentes autônomos de IA escreveram e revisaram a implementação da ferramenta. O engenheiro Matthew Goldberg afirma na conta de engenharia da Amazon que sua equipe nem escreveu nem revisou o código do emulador. Goldberg descreveu um considerável trabalho de engenharia para preparar a experiência para o lançamento, incluindo salvaguardas e verificações que regulam quais alterações podem ser implantadas.
A Amazon descreve três equipes de agentes com responsabilidades separadas. Uma equipe mantém os testes de fidelidade. Outra equipe identifica diferenças entre o emulador e o AWS real. A terceira equipe resolve problemas individuais. A Amazon afirma que as alterações propostas devem passar por verificações de compilação, padrões de codificação, segurança e regressão antes da mesclagem. Os agentes de teste utilizam modelos públicos da API AWS e validam cenários contra o AWS real. O conjunto de avaliação pública afirma que cada teste de fidelidade foi verificado contra pelo menos duas contas AWS isoladas.
A AWS utiliza o termo "fidelidade" para referir-se à concordância entre o emulador e os serviços em nuvem da AWS. A documentação de fidelidade da AWS afirma que um fluxo de trabalho aprovado deve corresponder à AWS em cada chamada, incluindo códigos de status, recursos resultantes, efeitos colaterais e erros. Um teste falha se o emulador relatar sucesso quando a AWS relatar um erro. O repositório de avaliação afirma que o comportamento sem um teste de fidelidade permanece não verificado. Um cenário bem-sucedido demonstra concordância apenas para esse cenário, não compatibilidade com todas as maneiras pelas quais uma aplicação pode usar a AWS.
As orientações de segurança da AWS alertam os desenvolvedores a não usarem o emulador para avaliar se um aplicativo é seguro. O emulador não avalia políticas de chaves do AWS KMS nem políticas de buckets da Amazon S3. Solicitações rejeitadas pela AWS podem ser bem-sucedidas no emulador local. Portanto, a revisão do agente da segurança da implementação não valida as permissões no aplicativo do desenvolvedor. O emulador é voltado para desenvolvimento e teste, e não para cargas de trabalho de produção. A AWS orienta os desenvolvedores a testarem todo o aplicativo e as configurações de segurança na AWS real antes da produção.
Para desenvolvedores que adotam software escrito por agentes, o lançamento torna as verificações de aceitação tão relevantes quanto a autoria. Essas verificações incluem comportamentos verificados, lacunas na cobertura de testes e áreas que ainda precisam ser testadas contra o serviço real.