Amazon випустила AWS Emulator 11 листопада, щоб дозволити розробникам тестувати хмарні додатки локально, імітуючи сервіси AWS. Amazon стверджує, що автономні AI-агенти написали та перевірили реалізацію інструменту. Інженер Метью Голдберг каже в аккаунті Amazon з інженерії, що його команда не писала і не перевіряла код емулятора. Голдберг описує значну інженерну роботу, спрямовану на підготовку експерименту до випуску, включаючи заходи безпеки та перевірки, що регулюють, які зміни можуть бути впроваджені.
Amazon описує три команди агентів із різними обов’язками. Одна команда підтримує тести на відповідність. Інша команда виявляє різниці між емулятором та реальним AWS. Третя команда вирішує окремі проблеми. Amazon стверджує, що запропоновані зміни повинні пройти перевірку компіляції, стандартів кодування, безпеки та регресії перед об’єднанням. Тестові агенти використовують публічні моделі API AWS та перевіряють сценарії на реальному AWS. Публічний набір оцінок стверджує, що кожен тест на відповідність був перевірений щонайменше на двох ізольованих акаунтах AWS.
AWS використовує термін «відповідність» для збігу між емулятором та службами AWS у хмарі. Документація AWS з відповідності стверджує, що успішний робочий процес має збігатися з AWS у кожному виклику, включаючи коди статусу, результативні ресурси, побічні ефекти та помилки. Тест провалюється, якщо емулятор повідомляє про успіх, тоді як AWS повідомляє про помилку. У репозиторії оцінки зазначено, що поведінка без тесту відповідності залишається неверифікованою. Успішний сценарій підтверджує збіг лише для цього сценарію, а не сумісність з усіма способами, якими застосунок може використовувати AWS.
Рекомендації з безпеки AWS попереджають розробників не використовувати емулятор для оцінки безпеки додатка. Емулятор не перевіряє політики ключів AWS KMS чи політики контейнерів Amazon S3. Запити, які AWS відхиляє, можуть успішно виконуватися у локальному емуляторі. Тому огляд агентом безпеки реалізації не підтверджує дозволи у додатку розробника. Емулятор призначений для розробки та тестування, а не для робочих навантажень у виробничому середовищі. AWS рекомендує розробникам тестувати весь додаток та налаштування безпеки на реальних сервісах AWS перед виведенням у виробництво.
Для розробників, які впроваджують програмне забезпечення, написане агентами, випуск робить перевірки прийняття такими ж важливими, як авторство. Ці перевірки включають підтверджені поведінки, прогалини в покритті тестами та області, які ще потребують тестування проти реального сервісу.