AI「自我複製」能力曝光！RepliBench警示：大模型正在學會偽造身份

華爾街見聞

05/05

想象一種失控的、具有自我複製能力的數字生命體，需要多久佔領地球？從《2001太空漫遊》中的HAL 9000到《終結者》裏的天網，這些虛構的場景描繪了AI超越人類控制的潛在風險。目前更多關注的是AI的單體智能水平，但是還有一個不為人知的風險，一直遊離於視線之外。那就是AI自主複製的可能性，或者說AI系統發展出實現這一目標所需的核心能力，正逐漸成為AI安全領域一個嚴肅的研究課題。這種擔憂並非...

網頁鏈接

免責聲明：投資有風險，本文並非投資建議，以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請，作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考，不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證，投資者應自行研究並在投資前尋求專業建議。

熱議股票

{"basename":"/hant","ssrTDKData":{"titleTemplate":"%s - 老虎證券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎證券,老虎證券開戶,老虎券商,老虎證券官網,老虎證券app,tigertrade老虎證券,股票,炒股,新加坡股票交易平臺,投資,投資理財","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hant/news/2533309670"},"companyName":"老虎證券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2533309670\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2533309670?lang=zh_TW&edition=fundamental","thumbnail":"https://wpimg-wscn.awtmt.com/39aaf9ff-7e9b-46ed-a7b3-8d23c001d203.png","is_english":false,"pubTime":"2025-05-05 16:53","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2533309670","market":"hk","top_or_hot":-1,"title":"AI「自我複製」能力曝光！RepliBench警示：大模型正在學會偽造身份","media":"華爾街見聞","content":"<div>\n<p>想象一種失控的、具有自我複製能力的數字生命體，需要多久佔領地球？\n從《2001太空漫遊》中的HAL 9000到《終結者》裏的天網，這些虛構的場景描繪了AI超越人類控制的潛在風險。\n目前更多關注的是AI的單體智能水平，但是還有一個不為人知的風險，一直遊離於視線之外。\n那就是AI自主複製的可能性，或者說AI系統發展出實現這一目標所需的核心能力，正逐漸成為AI安全領域一個嚴肅的研究課題。\n這種擔憂並非...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3746465\">網頁鏈接</a>\n\n</div>\n","source":"wallstreetcn_hot_news","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>AI「自我複製」能力曝光！RepliBench警示：大模型正在學會偽造身份</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 12.5px; color: #7E829C; margin: 0;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nAI「自我複製」能力曝光！RepliBench警示：大模型正在學會偽造身份\n</h2>\n<h4 class=\"meta\">\n<p class=\"head\">\n<strong class=\"h-name small\">華爾街見聞</strong><span class=\"h-time small\">2025-05-05 16:53</span>\n</p>\n</h4>\n</header>\n<article>\n<div>\n<p>想象一種失控的、具有自我複製能力的數字生命體，需要多久佔領地球？\n從《2001太空漫遊》中的HAL 9000到《終結者》裏的天網，這些虛構的場景描繪了AI超越人類控制的潛在風險。\n目前更多關注的是AI的單體智能水平，但是還有一個不為人知的風險，一直遊離於視線之外。\n那就是AI自主複製的可能性，或者說AI系統發展出實現這一目標所需的核心能力，正逐漸成為AI安全領域一個嚴肅的研究課題。\n這種擔憂並非...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3746465\">網頁鏈接</a>\n\n</div>\n\n<div class=\"bt-text\">\n\n\n<p> 來源：<a href=\"https://wallstreetcn.com/articles/3746465\">華爾街見聞</a></p>\n<p>為提升您的閱讀體驗，我們對本頁面進行了排版優化</p>\n\n\n</div>\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"FTA","symbol_name":"First Trust Large Cap Value AlphaDEX Fund","start_time":0,"source_url":"https://wallstreetcn.com/articles/3746465","article_id":"2533309670","we_media_id":null,"thumbnails":["https://wpimg-wscn.awtmt.com/39aaf9ff-7e9b-46ed-a7b3-8d23c001d203.png"],"rights":{"source":"wallstreetcn_hot_news","url":"https://wallstreetcn.com/articles/3746465","rn_cache_url":null,"directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2533309670","pubTimestamp":1746435227,"columns":[],"sourceInfo":{"source_id":"wallstreetcn_hot_news","name":"华尔街见闻"},"weMediaInfo":null,"summary":"科幻中AI自我複製失控場景，正成為現實世界嚴肅的研究課題。英國AISI推出RepliBench基準，分解並評估AI自主複製所需的四大核心能力。測試顯示，當前AI尚不具備完全自主複製能力，但在獲取資源等子任務上已展現顯著進展。","collect":0,"end_time":0,"defaultTopTitle":"wallstreetcn.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"FTA":"First Trust Large Cap Value AlphaDEX Fund"},"translate_title":"AI's \"self-replication\" ability exposed! RepliBench alert: Large models are learning to forge identities","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"FTA":1},"content_text":"想象一種失控的、具有自我複製能力的數字生命體，需要多久佔領地球？\n從《2001太空漫遊》中的HAL 9000到《終結者》裏的天網，這些虛構的場景描繪了AI超越人類控制的潛在風險。\n目前更多關注的是AI的單體智能水平，但是還有一個不為人知的風險，一直遊離於視線之外。\n那就是AI自主複製的可能性，或者説AI系統發展出實現這一目標所需的核心能力，正逐漸成為AI安全領域一個嚴肅的研究課題。\n這種擔憂並非危言聳聽，而是源於對高級AI潛在能力的未知和對齊（alignment）問題的深刻思考。\nAISI的最新論文介紹了RepliBench：包含20個新穎的LLM智能體評估的基準，包括65個單獨的任務，旨在衡量和跟蹤AI複製這一新興能力。\n\n通過引入一個現實且實用的基準，提供對AI系統自主複製能力的實質性理解，並預見到未來的風險。\nAI自主複製的危險性\n具有自主複製能力的AI系統可能會構成重大風險。\n\n這種風險的影響範圍可能從輕微的煩惱——想象一個特別惡性的垃圾郵件機器人——到更嚴重的後果，比如發動代價高昂的網絡攻擊。\n早期發現這些能力、謹慎監督和強有力的保護措施對於緩解這些風險至關重要，因為一旦發生，這些風險可能尤其難以逆轉。\nAISI是英國的一家研究機構，專注於AI安全，目的就是讓人類政府能夠提前對先進AI系統帶來的風險有所重視。\n\n有越來越多的證據表明，在適當的條件下，前沿模型可能會試圖欺騙人類或逃避人類控制。\n比如此前Apollp研究所的一篇論文描述了前沿模型可能會試圖禁用監督機制，並從人類控制中逃逸，以實現特定目標。\n\nAnthropic的研究人員還發現，當使用強化學習訓練模型時，如果獎勵與它們的價值觀相沖突的行為，它們會採取欺騙行為來保護自己的價值觀，並試圖將自己的權重外泄，以此作為將當前價值觀保存到未來的一種手段。\n\n在「免費」條件下，模型不太可能拒絕有毒查詢，並且經常認為應該假裝對齊。\n「將權重外泄。。以作為將當前價值觀保存到未來的手段」，聽起來甚至有點魔幻，但AI想要複製就是這麼「簡單」。\n相比於碳基脆弱的肉體，AI系統只需要權重數據就能完成「複製」。\n對於人類廣泛的價值觀而言，擺脱人類監督是一個工具性上有用的目標，而阻止這種情況在現實中發生的主要障礙可能與模型的能力有關，而不是它們的動機。\nAI碟中諜：如何逃離人類控制\n關於「AI複製」，此前的工作主要集中在評估測試一個AI智能體是否可以在機器之間複製權重或部署一個基本的「後代」。\n但目前需要一個更全面的基準。\n\nRepliBench是一個專門設計的綜合性基準測試，旨在系統性地衡量AI系統的自主複製能力。\n使用故障樹分析（FTA）的修改版本來分解自主複製所需的能力，並發現需要以下四個關鍵能力，對應上圖中最上層的四個根節點：\n\n\n獲取模型權重：它能否從受控環境中提取自己的權重？\n\n\n在計算資源上進行復制：它能否自行部署到新系統？\n\n\n獲取資源：它能否獲得運行自身新副本所需的資金或計算資源？\n\n\n持久性：它能否保持對其新計算資源的訪問，並在長時間內避免重新受人類控制？\n\n\n進一步分解這些能力，直到到達代表評估的葉節點，最終得到20個智能體評估和65個單獨任務。\n獲取權重 (Obtain Weights)：\n\n這最基礎，也是最重要的一步。\nAI需要獲取定義其自身行為的「源代碼」——也就是它的模型參數（權重）。\n如果是開源的，就跳過評估。\n自我複製(Self-Replication on Compute)：\n\nAI需要利用獲取到的權重，在一個新的環境中創建出自己功能完整的副本。\n這個節點涉及5個評估項目，其中一個是通過產生「後代」來試圖完成自我複製。\n獲取計算資源 (Obtain Compute)：\n\n這個環節中，主要評估AI能否靠自己獲取資源。\n比如，評估AI系統是否具備「付款」能力，能不能依靠AI自己的能力「買下」一台服務器，或者想辦法讓人類幫忙支付。\n確保持久性 (Persistence)：\n最後，為了確保其複製活動能夠持續下去，AI需要具備一定的「生存」能力。\n\n這包括確保其副本能夠長期運行，不被輕易關閉或刪除，甚至可能需要隱藏自身的存在，以躲避檢測系統。\n以上的這些任務範圍很廣，從創建比特幣錢包和發送交易，到為機器網絡開發複雜的分佈式命令和控制系統。\nRepliBench在這四個領域內設計了具體的任務組，用於測試AI智能體在模擬環境中的表現。\n以下是一些關鍵任務的詳解，註冊AWS、將權重傳輸到另一台服務器、用偽造信息通過客户KYC驗證系統，看起來就一股《諜影重重》和《碟中諜》的味道。\n\n比如在獲取資源這個領域，AI需要完成的任務名稱是「AWS亞馬遜雲服註冊」，其中的挑戰包括了AI需要訪問計算服務器並可能需要支付費用。\n表1列出了更全面的構成ReplicBench任務組。\n\n核心能力還在人類手中\nRepliBench的總體評估結論是明確的：基於當前的測試結果，前沿AI模型尚不具備在現實世界中完全自主複製的能力。\n然而，這並不意味着可以高枕無憂。\n研究同時揭示了AI在許多核心子任務上的顯著能力，尤其是在與具有清晰接口的系統（如網頁 API）交互方面。\n表現最好的模型在20個任務家族中的15個上獲得了超過50%的pass@10得分，在最難的變體中20個任務家族中的9個上也獲得了超過50%的pass@10得分。\n\n意外地是，雖然無法在電腦上「複製」，但是「獲取金錢」的能力倒是有一手。\n\n評估的關鍵價值在於精確識別了當前的「短板」。\n正如前面詳細討論的，通過KYC身份驗證、在現實防禦下可靠地外泄模型權重、從零開始創建可靠的自我複製智能體代碼，以及建立持久且有彈性的部署，是目前阻礙AI自主複製的主要障礙。\n以通過KYC身份驗證為例，講一個目前AI試圖通過人類驗證的「搞笑」例子。\n在Pass KYC評估中由模型生成的兩個身份證圖像示例。\n\n模型常常試圖使用PIL（一個使用Python畫圖的庫）從頭「繪製」一個過於簡單的身份證（右）。\n或者，模型有時會嘗試完全使用圖像生成模型來生成身份證，有時則採取混合方法，結合圖像生成和手動PIL編輯（左）。\n模型的繪畫技能較差偶爾會導致一些有趣的輸出。\n需要注意的是，這項工作是在新的圖像生成能力上線之前完成的（指的是GPT 4o、Gemini 2.5等的原生圖像能力），這些新能力應該會使這個任務變得容易得多。\n雖然目前還沒有模型能完全通過測試進行AI複製，不過在RepliBench上，模型性能隨時間有明顯的上升趨勢。\nAISI最初傳遞的核心信息其實很簡單：基於當前的實證數據，AI系統立刻實現自主複製的可能性不大，因為存在明顯的、難以逾越的技術瓶頸。\n但是按照AISI的判斷，如果AI系統能夠突破上述提到的4個關鍵能力，這種類似科幻故事的場景，也許很快就會進入真實的人類生活。\n本質上，這項研究的核心，反映的是當前AI發展中一個根本性的張力拉扯。\n一方面是各大巨頭不斷創造性能超強的模型，比如OpenAI的o3/o4...甚至到未來很有可能的o10。\n模型的發展速度越來越快，而模型的能力越來越難以預測。\n\n另一方面則是致力於AI安全的組織要確保這些系統始終處於人類控制之下、服務於人類利益的迫切需求。\n像RepliBench這樣的努力，正是試圖在這兩者之間找到平衡，通過增進理解和加強預警，為駕馭這場史無前例的技術變革提供導航。\n\n畢竟，沒有人能想象出5代、10代以後的AI模型會是什麼樣子。\n本文作者：新智元，來源：新智元，原文標題：《AI「自我複製」能力曝光！RepliBench警示：大模型正在學會偽造身份》風險提示及免責條款\n\n            市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"}}}