Amazon lanzó AWS Emulator el 11 de noviembre para permitir a los desarrolladores probar aplicaciones en la nube localmente simulando servicios de AWS. Amazon afirma que agentes de IA autónomos escribieron y revisaron la implementación de la herramienta. El ingeniero Matthew Goldberg dice en la cuenta de ingeniería de Amazon que su equipo no escribió ni revisó el código del emulador. Goldberg describe un considerable trabajo de ingeniería para preparar el experimento para su lanzamiento, incluyendo salvaguardas y controles que regulan qué cambios pueden implementarse.
Amazon describe tres equipos de agentes con responsabilidades separadas. Un equipo mantiene las pruebas de fidelidad. Otro equipo identifica diferencias entre el emulador y AWS real. El tercer equipo resuelve problemas individuales. Amazon indica que los cambios propuestos deben pasar las verificaciones de compilación, estándares de codificación, seguridad y regresión antes de fusionarse. Los agentes de prueba utilizan modelos de API públicos de AWS y validan escenarios contra AWS real. El conjunto de evaluación pública establece que cada prueba de fidelidad fue verificada contra al menos dos cuentas de AWS en entornos aislados.
AWS utiliza el término "fidelidad" para referirse al acuerdo entre el emulador y los servicios en la nube de AWS. La documentación de fidelidad de AWS indica que un flujo de trabajo aprobado debe coincidir con AWS en cada llamada, incluyendo códigos de estado, recursos resultantes, efectos secundarios y errores. Una prueba falla si el emulador informa éxito cuando AWS informa un error. El repositorio de evaluación establece que el comportamiento sin una prueba de fidelidad permanece sin verificar. Un escenario exitoso demuestra acuerdo solo para ese escenario, no compatibilidad con cada forma en que una aplicación podría utilizar AWS.
Las recomendaciones de seguridad de AWS advierten a los desarrolladores que no utilicen el emulador para evaluar si una aplicación es segura. El emulador no evalúa las políticas de claves de AWS KMS ni las políticas de buckets de Amazon S3. Las solicitudes que AWS rechaza pueden tener éxito en el emulador local. Por lo tanto, la revisión del agente de la seguridad de la implementación no valida los permisos en la aplicación del desarrollador. El emulador está diseñado para desarrollo y pruebas, no para cargas de trabajo de producción. AWS instruye a los desarrolladores a probar toda la aplicación y la configuración de seguridad en AWS real antes de la producción.
Para desarrolladores que adoptan software escrito por agentes, el lanzamiento hace que las verificaciones de aceptación sean tan relevantes como la autoría. Estas verificaciones incluyen comportamientos verificados, brechas en la cobertura de pruebas y áreas que aún requieren pruebas contra el servicio real.