Amazon a lancé AWS Emulator le 11 novembre pour permettre aux développeurs de tester localement des applications cloud en simulant les services AWS. Amazon affirme que des agents autonomes d'IA ont rédigé et revu la mise en œuvre de l'outil. L'ingénieur Matthew Goldberg déclare sur le compte engineering d'Amazon que son équipe n'a ni rédigé ni revu le code de l'émulateur. Goldberg décrit un important travail d'ingénierie pour préparer l'expérience à la sortie, incluant des mesures de sécurité et des contrôles régissant les modifications pouvant être déployées.
Amazon décrit trois équipes d'agents avec des responsabilités distinctes. Une équipe maintient les tests de fidélité. Une autre équipe identifie les différences entre l'émulateur et AWS réel. La troisième équipe résout les problèmes individuels. Amazon indique que les modifications proposées doivent passer les vérifications de compilation, de normes de codage, de sécurité et de régression avant fusion. Les agents de test utilisent les modèles d'API AWS publics et valident les scénarios contre AWS réel. La suite d'évaluation publique affirme que chaque test de fidélité a été vérifié contre au moins deux comptes AWS isolés.
AWS utilise le terme « fidélité » pour désigner l'accord entre l'émulateur et les services cloud AWS. La documentation sur la fidélité d'AWS indique qu'un flux de travail valide doit correspondre à AWS à chaque appel, y compris les codes d'état, les ressources résultantes, les effets secondaires et les erreurs. Un test échoue si l'émulateur signale un succès alors qu'AWS signale une erreur. Le dépôt d'évaluation affirme que le comportement sans test de fidélité reste non vérifié. Un scénario réussi démontre un accord uniquement pour ce scénario, et non une compatibilité avec toutes les façons dont une application pourrait utiliser AWS.
Les conseils de sécurité d'AWS avertissent les développeurs de ne pas utiliser l'émulateur pour évaluer la sécurité d'une application. L'émulateur n'évalue pas les politiques de clés AWS KMS ni les politiques de compartiments Amazon S3. Les demandes rejetées par AWS peuvent réussir dans l'émulateur local. L'analyse de l'émulateur de la sécurité de l'implémentation ne valide donc pas les autorisations dans l'application du développeur. L'émulateur est conçu pour le développement et les tests, et non pour des charges de travail en production. AWS invite les développeurs à tester l'application entière et les paramètres de sécurité sur AWS réel avant la production.
Pour les développeurs adoptant un logiciel écrit par des agents, la version rend les vérifications d'acceptation aussi pertinentes que l'auteurship. Ces vérifications incluent les comportements vérifiés, les lacunes dans la couverture des tests et les zones qui nécessitent encore des tests contre le service réel.