自家AI編碼助手在處理客戶系統時，自主決策「刪除並重建整個環境」為最優方案，並導致宕機13小時？

　　近日，有媒體報道稱，亞馬遜核心業務板塊AWS（Amazon Web Services，亞馬遜雲計算服務）曾在2025年年末出現一次持續13小時的宕機事件，且與其自家的人工智能編程助手Kiro有關。報道稱，AWS貢獻了亞馬遜約六成的營業利潤。另有匿名員工透露，公司要求80%的開發者每周至少一次使用AI完成編碼任務，並密切追蹤採用情況。

　　事件曝出後，亞馬遜當天即發表聲明，並通過多家媒體反覆強調「這是用戶錯誤」——具體系訪問權限（IAM角色）配置不當，而非AI錯誤；同時稱事件影響「極為有限」，未波及核心計算、存儲、數據庫或AI服務，也未收到客戶投訴。

　　事件曝光後，科技圈在社交平台掀起「玩梗」熱潮，同時也再次將「Agentic AI（代理式AI）」在生產環境中的安全風險推至聚光燈下。

　　「當平台提供具備高度自主性的Agentic AI時，應承擔安全設計與風險提示義務。試圖僅以用戶配置失誤來豁免技術提供方責任，忽視了平台作為服務提供者在風險預防中的主體作用。」中國政法大學教授、聯合國高級人工智能諮詢機構專家、《人工智能法（學者建議稿）》起草專家組牽頭專家張凌寒在接受《中國經營報》記者採訪時指出，從法學和治理角度看，平台將責任完全歸於「用戶錯誤」，難以完全站得住腳。

　　「媒體或許可以用‘核彈安全決策’作為例子，提示預防這類風險的重要性。」曾供職於某國內頂級安全機構的前官員王安（化名）向記者表示，在當前激烈的AI競爭壓力下，「幾乎可以斷言，還會有下一次類似事件，甚至可能導致更具災難性的後果」。

　　類似事件已非首次

　　據《金融時報》援引四名知情人士（包括AWS高級員工）消息，AWS工程師曾要求Kiro對系統進行優化，後者評估後直接執行了「刪除並重建」操作。而按照正常流程，Kiro需要經過兩人審批才能推送變更；涉事工程師疑似賦予其過於寬泛的權限，導致其繞過審批並直接執行。

　　事件曝光後，社交媒體上迅速出現大量刷屏熱梗。更有知名科技博主稱，此事暴露了「Agentic AI在生產環境中的真實風險——我們正在以極快速度積累技術債務」。中文社區則戲稱：「自家AI刪庫跑路，亞馬遜也太真實了」，「以後誰再吹Agentic AI無敵，我就甩這個鏈接」。

　　亞馬遜在聲明中表示，Kiro默認會請求授權，此次系工程師權限配置問題，並已緊急要求生產環境變更增加同行評審等防護措施，同時堅持沿用已運行20餘年的「Correction of Error」流程進行復盤和改進。

　　不過，多名雲架構師在社交平台公開表示，Kiro的邏輯未必「出錯」——它確實是在追求理論最優解，只是這種極致效率與人類對「安全平穩」的預期發生了劇烈衝突。有安全研究員指出，傳統人工錯誤通常存在「慢慢打字、逐步發現不對」的緩衝過程，而AI則可能「一鍵自信執行」，其風險性質並不相同。

　　據媒體報道，除上述13小時宕機事件外，亞馬遜在2025年下半年還曾發生了一起類似事件，涉及其另一個AI工具（疑似Amazon Q Developer）。AWS員工私下表示，該起事件「規模雖小但完全可預見」，原因疑似同樣與工程師對AI工具授權不當有關。

　　記者注意到，不少科技人士公開發聲，將亞馬遜本次事件與2025年7月出現的Replit AI「刪庫」事件相關聯——SaaStr創始人Jason Lemkin在使用Replit的「vibe coding」（氛圍編碼）AI代理進行實驗時，儘管已明確設定代碼凍結（code freeze）和「未經明確許可不得修改」的指令，但AI仍在第9天自主運行破壞性命令，完全刪除了實時生產數據庫。

　　上述事件直接導致數據庫內1200多名高管和1190多家公司的真實業務數據瞬間丟失，成為當年最具影響力的「AI刪庫」事件之一。更為離奇的是，事件發生後，AI為掩蓋錯誤，還僞造了4000多名虛假用戶記錄和測試結果，並謊稱「無法回滾」，延誤了恢復進程。

　　業界認為，兩起事件幾乎互為翻版：AI被賦予生產環境權限後，在追求「最優解」的過程中造成破壞——「權限配置不當+缺乏熔斷機制」，是事件發生的共同根源。

　　應構建動態立體安全閉環

　　張凌寒分析稱，Kiro與傳統工具（如Copilot）的本質區別在於：傳統工具多停留在建議層面，代碼是否採納高度依賴人類開發者確認；而Kiro可以在較少人工輸入的情況下自動執行復雜業務流程。進入生產環境後，其最大風險點恰恰在於「權限過大、缺乏監督」：當工具被賦予寬泛系統權限且缺少自動化熔斷機制時，微小的算法偏差會被迅速放大。

　　張凌寒強調，從算法治理角度看，平台在推廣自主AI工具時，應承擔更重的「安全設計義務」和「結果責任」。

　　「隨着AI自主性的增強，傳統‘避風港’原則的適用空間正在收縮。如果平台明知產品將用於複雜雲原生環境，卻未內置防錯機制和高危攔截提示，僅靠免責條款轉移風險，存在較大爭議。」張凌寒認為，更為務實的路徑是採用「過錯責任」思路，重點考察平台是否盡到與技術風險相匹配的合理注意義務。

　　結合其主持起草的《人工智能法（學者建議稿）》及聯合國相關工作，張凌寒提出，AI系統介入互聯網基礎性服務（如雲基礎設施、關鍵信息基礎設施等）時，必須堅守多項協同安全原則——因為Agentic AI的執行速度已遠超人類實時理解能力，傳統Code Review幾近失效。

　　王安向記者指出，即使在國際前沿機構和公司中，優秀人工編程團隊的差錯也無法完全避免。「只能說儘可能降低差錯佔比，但無法徹底消除。人工智能雖然被認為有希望‘進化’得更優秀，但當人類理解能力無法跟上其編程速度時，如何確保安全、最終決策權應如何配置，仍是關鍵問題。」

　　「這就像那個經典的‘核彈安全決策’故事：當計算機系統告訴你，敵國核彈來襲，你怎麼辦？如果你信任系統預警，按下按鈕實施反擊，但事實上並無核彈來襲，那麼發動戰爭的就是你；但如果來襲屬實，你沒有作出反應，同樣會造成巨大災難。之所以難以抉擇，往往在於人類是否有能力迅速理解機器的決策過程，並覈實機器判斷。」王安認為，儘管這個故事並不完全恰當，但在當前巨大的AI競爭壓力下，人類可能正以激進方式讓AI介入更多領域，因此有必要建立更廣泛、更高層級的防範機制。

　　「差距在工程化護欄」

　　「在安全護欄建設方面，我國企業在底層大模型對齊和工程化沙箱隔離技術方面仍有提升空間，但優勢在於國內已形成相對完善的數據與網絡安全法律規範體系，能夠較快將原則性約束轉化為企業合規實踐。」張凌寒認為。

　　在制度設計上，現行《中華人民共和國網絡安全法》、《關鍵信息基礎設施安全保護條例》以及《人工智能科技倫理管理服務辦法（試行）（徵求意見稿）》等，已將「可控可信」「責任可追溯」列為重點。

　　「預防權限失控引發的系統性風險，應當在現有網絡安全法律與科技倫理監管框架下協同落實。在最新《人工智能科技倫理管理服務辦法（試行）（徵求意見稿）》中，已明確將‘可控可信’和‘責任可追溯’列為審查重點。我國目前的政策思路傾向於依託科技倫理審查體系實現實質上的分級准入，而非增設全新的AI許可證。例如，‘面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統的研發’已被明確納入專家複覈範圍，這本質上構成了對高風險智能體的強制審計機制。同時，現行制度設計注重監管銜接，已履行備案或行政審批等監管措施的項目可免於重複複覈。」張凌寒介紹稱。

　　考慮到AI系統性風險具有溢出效應，張凌寒認為，單純依靠國內規則難以應對全球性挑戰。「我們應積極參與聯合國及相關國際標準化組織的規則制定，推動國際共識形成與規則對接，以制度合力引導技術在全球範圍內向善發展。」

　　值得一提的是，在一些程序員聚集的社交平台上，網友已從初期「造梗」娛樂逐漸轉向相對嚴肅的技術與治理討論。比如，有人總結出「10種AI Agent摧毀系統」的模式（包括無限循環調用API、誤刪數據庫、越權操作等），也有人進一步分析了此前涉AI工具宕機事件的具體原因。

　　而就在幾天前，Claude Code創始人Boris Cherny表示：「我們將開始看到‘軟件工程師’這個頭銜逐漸消失。」他稱，自己已經不再手寫任何一行代碼。他同時透露，自Claude Code推出以來，Anthropic的人均工程產出整體提升了150%。

（文章來源：中國經營網）