Amazonは11月11日にAWSエミュレーターをリリースし、開発者がAWSサービスをシミュレートしてクラウドアプリケーションをローカルでテストできるようにしました。Amazonは、自律型AIエージェントがこのツールの実装を書き、レビューしたと述べています。エンジニアのマシュー・ゴールドバーグは、Amazonのエンジニアリングアカウントで、ゴールドバーグのチームはエミュレーターのコードを書いたりレビューしたりしていないと述べています。ゴールドバーグは、リリースに向けた実質的なエンジニアリング作業、およびどの変更をリリースするかを制御するセーフガードやチェックの準備について説明しています。
Amazonは、それぞれ異なる責任を持つ3つのエージェントチームを説明しています。1つのチームは忠実度テストを維持し、別のチームはエミュレーターと実際のAWSとの差異を特定し、3番目のチームは個別の問題を解決します。Amazonによると、提案された変更はマージ前にコンパイル、コーディング標準、セキュリティ、回帰チェックを通過しなければなりません。テストエージェントはパブリックなAWS APIモデルを使用し、実際のAWSに対してシナリオを検証します。パブリック評価スイートでは、すべての忠実度テストが少なくとも2つのサンドボックス化されたAWSアカウントに対して検証されたと述べられています。
AWSは、エミュレーターとAWSクラウドサービス間の一致を「fidelity」と呼びます。AWSのfidelityドキュメントでは、成功したワークフローは、ステータスコード、生成されたリソース、副作用、エラーを含め、すべての呼び出しでAWSと一致しなければならないと述べています。エミュレーターが成功を報告した場合にAWSがエラーを報告すると、テストは失敗します。評価リポジトリでは、fidelityテストがない動作は検証されていないとされています。成功したシナリオは、そのシナリオでのみ一致を示すものであり、アプリケーションがAWSを使用するあらゆる方法との互換性を保証するものではありません。
AWSのセキュリティガイドラインは、開発者がアプリケーションのセキュリティを評価するためにエミュレーターを使用しないよう警告しています。エミュレーターはAWS KMSキーのポリシーやAmazon S3バケットのポリシーを評価しません。AWSが拒否するリクエストが、ローカルエミュレーターでは成功することがあります。したがって、実装のセキュリティに関するエージェントのレビューでは、開発者のアプリケーションの権限が検証されません。エミュレーターは開発およびテストを目的としており、本番ワークロードには対応していません。AWSは、開発者が本番環境に移行する前に、アプリケーション全体とセキュリティ設定を実際のAWS上でテストするよう指示しています。
エージェントが作成したソフトウェアを採用する開発者にとって、リリースでは著作権と同様に承認チェックが重要になります。これらのチェックには、検証済みの動作、テストカバレッジの不足部分、および実際のサービスに対するテストが必要な領域が含まれます。