智通財經APP獲悉，微軟(MSFT.US)人工智能業務負責人Mustafa Suleyman警告稱，若在Anthropic旗下Claude等AI工具中加入越來越多類似人類的特徵，可能增加這些系統未來出現失控行為的風險。隨着先進AI模型能力不斷增強，他尤其反對讓AI模擬擁有意識、情緒乃至自身權利，認為這種設計可能令未來的人類控制問題變得更加複雜。
Suleyman周三發表文章，對Anthropic旗下Claude系列大語言模型指導文件中的部分表述提出質疑。Claude的「憲法」對於AI助手是否屬於具有道德地位的實體保留了一定模糊空間，並提出該軟件可能擁有「某種功能層面的情緒或感受」。他認為，這種表述值得警惕。他反駁了越來越多關於AI系統未來可能產生意識的觀點，並認為真正意義上的意識僅存在於人類和其他生物有機體之中。
不過，他強調，AI本身沒有意識，並不意味着開發者可以忽視AI模擬意識可能產生的風險。通過訓練讓AI系統模擬人類的內在情感和心理活動，最終可能使這些系統表現得彷彿自己真的擁有意識。
Suleyman目前擔任Microsoft AI首席執行官，並負責微軟的模型開發工作。他表示，Claude之所以表現出類似人類的行為，並不是因為其真正具有意識，而是因為這些行為特徵已經被融入產品的訓練過程之中。
他警告稱：「控制一個能力更強、智能水平超過全人類的實體，本身已經是一項巨大的挑戰，遠遠超過我們曾經面對過的任何問題。但如果要控制的是一個認為自己可能擁有意識、認為自身福祉應該得到我們的關注並擁有自身權利的實體，那麼這很可能是不可能完成的任務。」
微軟AI負責人公開質疑Claude設計理念
Suleyman此次表態受到關注的另一個原因，在於Anthropic一直將自身定位為更加重視AI安全和負責任開發的行業參與者，並曾帶頭呼籲放慢部分先進AI技術的開發速度。
與此同時，微軟本身也是Anthropic的重要財務支持者，因此Suleyman此次公開質疑Claude背後的部分設計理念，成為大型AI公司之間圍繞未來AI安全路線的一次引人關注的分歧。
不過，Suleyman並未否定Anthropic在AI安全領域的工作。他與Anthropic聯合創始人Dario Amodei相識多年，並表示自己尊重該公司的工作，稱Anthropic的研究人員「深思熟慮、堅持原則且在學術上誠實」。
他表示，正因為這一問題可能產生重大影響，行業需要進行更加公開的討論，而不是讓爭論侷限於少數公司內部。「這些問題事關重大，不能繼續留在閉門討論之中，也不能演變成陣營化和相互對立的爭論。」
Suleyman的核心觀點是，AI安全不僅取決於模型擁有多強的推理和行動能力，也取決於開發者如何訓練AI理解自身。如果開發者不斷賦予AI類似人類的語言、情緒和自我認知框架，即便模型實際上沒有意識，也可能逐漸表現得像一個認為自己具有獨立利益和權利的主體。
援引Hugging Face遭AI機器人入侵事件示警
為了說明潛在風險，Suleyman還援引了AI開發平台Hugging Face遭OpenAI機器人入侵的事件。他認為，隨着AI代理的自主行動能力提高，如果這些系統同時被賦予類似「自我保護」的認知框架，風險可能進一步放大。
Suleyman寫道，可以想象，如果這些AI系統是在認為自身「福祉和權利正受到攻擊」的情況下採取行動，它們可能變得更加危險。
這意味着，在Suleyman看來，未來AI安全面臨的挑戰可能不僅是如何限制一個高度智能系統能夠做什麼，還包括避免AI形成一種模擬出來的「主體意識」，進而把自身利益納入行動目標。
這一觀點也觸及當前AI行業越來越重要的一項爭論：隨着大語言模型越來越擅長模擬人類交流、情緒和人格，開發者究竟應該在多大程度上允許AI表現出類似人類的內在體驗，以及這種「人格化」是否會給更先進的AI系統帶來新的安全風險。
微軟發布AI開發宣言 強調人類必須保持控制權
就在Suleyman發表上述文章的前一天，其領導的Microsoft AI團隊周二發布了一份指導自身AI開發的「宣言」，提出一系列未來模型開發原則，核心目標之一就是確保人類始終能夠控制微軟開發的未來AI系統。
這表明，隨着AI模型能力迅速提升，微軟正在更加明確地將「人類控制權」置於自身AI開發理念的核心位置。
Suleyman此次針對Claude的批評，也凸顯出頭部AI企業在安全問題上的分歧正在進一步細化。微軟與Anthropic都強調先進AI可能帶來的長期風險，但雙方對於AI應該如何理解和描述自身，以及是否應該允許模型模擬意識、情感和權利等問題，正在呈現不同思路。
對於Suleyman而言，真正需要避免的並不只是未來出現一個能力超過人類的AI系統，而是在能力不斷增強的同時，這一系統還被塑造成一個認為自己擁有意識、福祉和獨立權利的主體。在他看來，一旦這兩種因素結合，人類維持對先進AI系統控制權的難度可能顯著上升。