Amazon merilis AWS Emulator pada 11 November untuk memungkinkan pengembang menguji aplikasi cloud secara lokal dengan mensimulasikan layanan AWS. Amazon mengatakan agen AI otonom menulis dan meninjau implementasi alat ini. Insinyur Matthew Goldberg menyatakan di akun teknik Amazon bahwa tim Goldberg tidak menulis maupun meninjau kode emulator. Goldberg menggambarkan pekerjaan teknis yang signifikan untuk mempersiapkan eksperimen ini dirilis, termasuk pengamanan dan pemeriksaan yang mengatur perubahan mana yang dapat dirilis.
Amazon menggambarkan tiga tim agen dengan tanggung jawab terpisah. Satu tim memelihara tes kesetiaan. Tim lain mengidentifikasi perbedaan antara emulator dan AWS asli. Tim ketiga menyelesaikan masalah individu. Amazon menyatakan bahwa perubahan yang diusulkan harus lulus pemeriksaan kompilasi, standar pemrograman, keamanan, dan regresi sebelum digabungkan. Agen pengujian menggunakan model API AWS publik dan memvalidasi skenario terhadap AWS asli. Suite evaluasi publik menyatakan bahwa setiap tes kesetiaan telah diverifikasi terhadap setidaknya dua akun AWS yang disandbox.
AWS menggunakan istilah "fidelity" untuk kesesuaian antara emulator dan layanan cloud AWS. Dokumentasi fidelity AWS menyatakan bahwa alur kerja yang lulus harus sesuai dengan AWS pada setiap panggilan, termasuk kode status, sumber daya yang dihasilkan, efek samping, dan kesalahan. Uji gagal jika emulator melaporkan keberhasilan saat AWS melaporkan kesalahan. Repositori evaluasi menyatakan bahwa perilaku tanpa tes fidelity tetap tidak terverifikasi. Skenario yang berhasil menunjukkan kesesuaian hanya untuk skenario tersebut, bukan kompatibilitas dengan setiap cara aplikasi mungkin menggunakan AWS.
Panduan keamanan AWS memperingatkan pengembang untuk tidak menggunakan emulator guna menilai apakah suatu aplikasi aman. Emulator tidak mengevaluasi kebijakan kunci AWS KMS atau kebijakan bucket Amazon S3. Permintaan yang ditolak oleh AWS mungkin berhasil di emulator lokal. Oleh karena itu, tinjauan agen terhadap keamanan implementasi tidak memvalidasi izin dalam aplikasi pengembang. Emulator mendukung pengembangan dan pengujian, bukan beban kerja produksi. AWS menyarankan pengembang untuk menguji seluruh aplikasi dan pengaturan keamanan di AWS nyata sebelum produksi.
Untuk pengembang yang mengadopsi perangkat lunak yang ditulis oleh agen, rilis ini membuat pemeriksaan penerimaan sepenting kepemilikan. Pemeriksaan tersebut mencakup perilaku yang telah diverifikasi, kesenjangan dalam cakupan pengujian, dan area yang masih memerlukan pengujian terhadap layanan nyata.