Amazon выпустила AWS Emulator 11 ноября, чтобы разработчики могли тестировать облачные приложения локально, моделируя службы AWS. Amazon утверждает, что автономные ИИ-агенты написали и проверили реализацию инструмента. Инженер Мэттью Голдберг говорит в аккаунте Amazon по инженерным вопросам, что его команда не писала и не проверяла код эмулятора. Голдберг описывает значительную инженерную работу по подготовке эксперимента к выпуску, включая меры безопасности и проверки, регулирующие, какие изменения могут быть выпущены.
Amazon описывает три команды агентов с отдельными обязанностями. Одна команда поддерживает тесты на точность. Другая команда выявляет различия между эмулятором и реальным AWS. Третья команда устраняет отдельные проблемы. Amazon утверждает, что предлагаемые изменения должны пройти проверки компиляции, соответствия стандартам кодирования, безопасности и регрессионные проверки перед слиянием. Тестовые агенты используют публичные модели API AWS и проверяют сценарии на реальном AWS. Публичный набор оценок указывает, что каждый тест на точность был проверен по крайней мере на двух изолированных аккаунтах AWS.
AWS использует термин «точность» для обозначения соответствия между эмулятором и облачными сервисами AWS. В документации AWS по точности указано, что успешный рабочий процесс должен полностью соответствовать AWS по каждому вызову, включая коды состояния, создаваемые ресурсы, побочные эффекты и ошибки. Тест завершается неудачей, если эмулятор сообщает об успехе, а AWS — об ошибке. В репозитории оценки указано, что поведение без теста на точность остается непроверенным. Успешный сценарий демонстрирует соответствие только для этого конкретного сценария, а не совместимость со всеми возможными способами использования AWS приложением.
Рекомендации AWS по безопасности предупреждают разработчиков не использовать эмулятор для оценки безопасности приложения. Эмулятор не проверяет политики ключей AWS KMS или политики корзин Amazon S3. Запросы, которые AWS отклоняет, могут успешно выполняться в локальном эмуляторе. Поэтому проверка безопасности реализации агентом не подтверждает права доступа в приложении разработчика. Эмулятор предназначен для разработки и тестирования, а не для рабочих нагрузок в продакшене. AWS рекомендует разработчикам тестировать все приложение и настройки безопасности на реальных сервисах AWS перед выходом в продакшен.
Для разработчиков, внедряющих программное обеспечение, написанное агентами, выпуск делает проверки на соответствие столь же важными, как и авторство. Эти проверки включают подтвержденное поведение, пробелы в покрытии тестами и области, требующие дальнейшего тестирования против реального сервиса.