Amazon於11月11日發布了AWS模擬器,讓開發者能夠透過模擬AWS服務來本地測試雲端應用程式。Amazon表示,自主AI代理寫出了該工具的實現並進行了審查。然而,工程師Matthew Goldberg在Amazon的工程帳戶中表示,Goldberg的團隊既未編寫也未審查該模擬器的代碼。Goldberg描述了為準備此實驗發布所進行的大量工程工作,包括規範哪些變更可以發布的保障措施和檢查機制。
Amazon 描述了三個具有不同職責的代理團隊。一個團隊負責維護保真度測試,另一個團隊識別模擬器與真實 AWS 之間的差異,第三個團隊則解決個別問題。Amazon 表示,所有建議的變更在合併前必須通過編譯、編碼標準、安全性和回歸檢查。測試代理使用公開的 AWS API 模型,並針對真實 AWS 驗證情境。公開評估套件指出,每個保真度測試均經過至少兩個隔離的 AWS 帳戶驗證。
AWS 使用「保真度」一詞來描述模擬器與 AWS 雲端服務之間的一致性。AWS 的保真度文件指出,通過的工作流程必須在每次調用中與 AWS 完全一致,包括狀態碼、產生的資源、副作用和錯誤。如果模擬器報告成功而 AWS 報告錯誤,則測試失敗。評估倉庫指出,沒有保真度測試的行為仍屬未驗證。成功的場景僅證明該場景的一致性,而非應用程式可能使用 AWS 的所有方式的相容性。
AWS 的安全指引警告開發者不要使用模擬器來評估應用程式是否安全。模擬器不會評估 AWS KMS 金鑰政策或 Amazon S3 儲存貯體政策。AWS 會拒絕的請求可能在本地模擬器中成功。因此,對實作安全性的審查並不能驗證開發者應用程式中的權限。模擬器僅支援開發與測試,而非生產工作負載。AWS 指示開發者在上線前,於真實的 AWS 環境中測試整個應用程式與安全設定。
對於採用代理編寫軟體的開發者而言,此版本使驗證檢查與作者身份同等重要。這些檢查包括已驗證的行為、測試覆蓋率的缺口,以及仍需針對實際服務進行測試的區域。



