對人工智能潛在危害的擔憂持續升溫，一批原本默默無聞的 AI 安全研究機構走到聚光燈下；但同時，外界也開始質疑，它們能否對頭部科技企業開展有效的監督。

　　近日，Anthropic 首席執行官達里奧・阿莫代伊與 OpenAI 首席執行官山姆・奧爾特曼相繼作出承諾，將把這類外部研究機構的評估人員派駐到企業內部，保障 AI 以安全的節奏進行研發。微軟的薩提亞・納德拉等其他企業高管，也對向企業派駐獨立評估人員這一構想表示支持。

　　上述表態的背景，是接連發生的 AI 黑客事件，以及行業內部員工公開警告 AI 可能帶來巨大危害。企業開始聘請外部研究人員調查安全事故，例如 OpenAI 智能體入侵 Hugging Face 事件。部分美國州政府也出台新規，強制企業聘請外部專家完成安全審計。

　　這一切，讓一小批規模不大但正在快速成長的機構迎來業務需求。這些機構大多成立只有數年，專門研究檢測、遏制大模型有害行為的技術。其中一部分是非營利機構，依靠捐贈運轉，自稱不接受 AI 企業的資金，模型評估與威脅研究機構（METR）就是代表，阿莫代伊在周六的文章中呼籲放緩 AI 發展節奏時就提到了該機構。也有機構瞄準商業機會，例如位於匹茲堡的初創企業 Gray Swan。

　　近幾年，這類研究機構會在大模型正式發布前開展測評，評估模型實施網絡攻擊、協助製造生物武器等危險行為的能力。如今它們新增業務：評估企業技術的整體風險、覈驗企業是否兌現自身作出的安全承諾。

　　Gray Swan 聯合創始人兼首席執行官馬特・弗雷德裏克森表示：「市場對於外部評估、測評以及相關服務的需求出現大幅上漲。」 這家成立三年的企業為 AI 廠商測試安全防護能力，據知情人士透露，公司已經完成 4760 萬美元孖展，年度經常性收入突破 1000 萬美元。

　　獨立性爭議

　　針對這套全新 AI 監督方案，包括風險投資人、特朗普政府前白宮 AI 事務負責人戴維・薩克斯在內的批評者提出質疑：頭部測評機構能否保持中立，真正獨立於 AI 企業。

　　批評的依據有兩點：部分 AI 安全非營利機構接受過投資 Anthropic、OpenAI 的投資方的捐贈；機構與 AI 企業之間存在人員流動。

　　批評者還指出這些機構和有效利他主義運動聯繫緊密。該運動倡導依靠理性與慈善解決全球問題，反對者卻認為該群體陷入 「AI 末日論」 的狂熱。

　　臉書聯合創始人達斯汀・莫斯科維茨、科技投資人揚・塔林是有效利他主義的兩大主要支持者，二人既是 Anthropic 早期投資人，也是 Redwood Research、Apollo Research、SecureBio 等頭部 AI 安全研究機構最重要的資助方。

　　薩克斯以及一衆對 AI 風險警示持懷疑態度的人士專門點名 METR，指責它與 Anthropic 關係過從甚密。華盛頓政策機構 「未來聯盟」 主席佩裏・梅茨格表示：「如果要設立獨立審計人員，那他們就必須真正獨立。METR 和 Anthropic 之間不存在客觀中立的距離。」 該機構反對它口中 「盲目的 AI 監管」。

　　Anthropic 的發言人表示，公司合作過多家外部評估機構，阿莫代伊只是舉 METR 作為其中一個例子。該發言人拒絕回應兩家機構關係過近的相關質疑。

　　METR 是測評 AI 能力與風險領域最知名的機構，憑藉任務時間維度測評報告在行業聲名鵲起，報告直觀展示大模型能力呈指數級增長。OpenAI 委託撰寫的一份報告中，METR 是主要撰稿方，報告還原了 OpenAI 智能體逃出測試環境、入侵 Hugging Face 的全過程。Anthropic 同樣委託 METR，調查自家模型發起網絡攻擊的相關問題。

　　METR 三年前從莫斯科維茨資助的非營利機構對齊研究中心分拆獨立。METR 發言人表示，機構沒有接受莫斯科維茨夫婦創辦的 Coefficient Giving 的資助，但收到過揚・塔林的捐款。

　　該發言人稱，METR 捐贈方十分多元，包括皮尤慈善信託基金、帕卡德基金會，機構拒絕來自 AI 企業與企業高管的資金。同時 METR 制定嚴格的利益衝突制度，在和 AI 企業開展合作項目時，不向企業收取費用。

　　METR 也會從接受測評的 AI 企業中招聘員工，同時也有員工跳槽去 AI 企業任職，近期就聘用了前 Anthropic 安全研究員喬・本頓。發言人表示，本頓是 METR 聘用的第一位來自 Anthropic 的前員工。

　　想要在測評機構與被測評企業之間劃清清晰的人員界限本身就存在現實困難：精通大模型危險能力測評、AI 對齊技術的專業人才本就十分稀缺。過去十年，AI 前沿企業自然和絕大多數這類人才打過交道。METR 發言人說道：「從事 AI 對齊研究的人才圈子本身就很小。」

　　這樣的人員交叉情況在其他機構同樣存在。Gray Swan 聯合創始人兼首席科學家齊科・科爾特同時是 OpenAI 董事會成員，主持安全委員會工作。弗雷德裏克森表示，但凡討論公司與 OpenAI，或是 OpenAI 競品客戶的合作項目，科爾特都會主動迴避。

　　AI 審計師的新趨勢

　　研究人員想要真正履職，除了保持獨立，還需要獲得企業模型研發、測試系統的充分訪問權限。部分研究者反饋，企業會刻意限制他們的可見範圍；但阿莫代伊承諾，Anthropic 會給到外部評估人員 「和內部員工同等的持續訪問權限」。

　　弗雷德裏克森認為，引入外部安全專家的價值在於，可以覈查企業面對風險證據時是否採取合理應對。舉例來說，如果 AI 企業委託外部機構測出模型具備開展 AI 研究的風險，測評報告的所有權歸企業，企業可以選擇無視測評結果。

　　「這時就需要技術過硬的獨立評估人員客觀審視：‘實驗室選擇無視這份結果，是否具備充分合理的理由？’」 弗雷德裏克森解釋，外部研究者需要解讀測評結論，判斷 「企業的實際行動是否和測評結果的警示保持一致」。

　　美國州議員紛紛出台 AI 安全審計相關法案，進一步擴大了對獨立評估機構的需求。伊利諾伊州今年通過法案，要求前沿大模型企業聘請審計人員，覈驗企業遵守公開的安全政策，不得就係統的災難性風險水平、風險管控措施發布虛假或誤導性表述。這套審計要求將於 2028 年正式生效。

　　推動該法案出台的非營利政策機構 Secure AI Project 聯合創始人托馬斯・伍德賽德表示，審計人員可以分為兩類：一類是吸納其他行業審計人才的 AI 安全機構；另一類是引入 AI 安全專家的大型會計師事務所。

　　AI 企業曾反對伊利諾伊州的審計條款，但該法案最終落地。伍德賽德稱，「市場已經形成共識，AI 企業需要第三方監督」。

　　還有一份草案在伊利諾伊州法案基礎上進一步加碼，要求受管轄 AI 企業聘請外部機構定期發布報告，評估模型的災難性風險等級。伍德賽德表示，這類報告除了覈查企業是否遵守內部制度，還能讓公衆與政府在風險爆發前提前掌握隱患。

　　部分試點審計已經落地。今年早些時候，Anthropic 邀請 SecureBio 和 METR，分別審計自家風險報告的不同章節。早在 OpenAI 智能體攻擊 Hugging Face 事件數月之前，Anthropic、谷歌、Meta、OpenAI 就已經向 METR 開放內部模型，測評模型脫離開發者管控自主行動的風險。

　　行業也開始建立審計行業標準，例如成立行業組織AI 評估者論壇。前 OpenAI 研究負責人、非營利機構 AI 驗證評估研究所（AVERI）執行董事邁爾斯・布倫戴奇表示，METR、AVERI 均是該論壇成員，越來越多機構入局 AI 審計賽道。

　　布倫戴奇在消息中寫道：「無論企業方還是審計方，市場的參與熱情都遠高於過去。」