Anthropic提议引入“银行式监管”,专家:评估员无权叫停AI

凤凰网科技
4 hours ago

凤凰网科技讯 9月17日,据CNBC报道,Anthropic CEO Dario Amodei提议将独立第三方安全评估员长期嵌入前沿AI公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入式监管作为先例。不过,多位银行业监管专家和AI评估从业者指出,这一方案缺乏银行监管者所拥有的强制执行权,评估员无法阻止模型的训练或发布,两者的实际权力不可同日而语。

此前,Anthropic前研究员Jacob Coxon辞职并警告,前沿实验室正竞相追逐可能失控的系统。Amodei在上周末发表的长文中提出上述计划,并承诺Anthropic将向第三方评估员提供与内部风险团队相当的系统访问权。他写道,该提议“在银行业有先例,银行业有时会让监管‘监督员’与员工一起嵌入工作”。Amodei还警告,未来6到12个月内,一个错位的智能体群可能抢占互联网的大部分,并造成数千亿美元损失。该文已引发AI社区及政府内部的监管分歧,包括美国总统特朗普在内。

怀俄明大学法学院院长、银行业监管专家Julie Andersen Hill表示,银行监管者拥有切实的行政强制权。她说,在大型银行,政府检查员常驻机构内部,可访问内部系统和员工,并能指令银行停止某项业务、限制增长、强制管理层变动,极端情况下可关闭银行。相比之下,Amodei提议的评估员只能调查和报告,没有类似的执法权,也没有阻止模型训练或发布的法律权力。“如果你不给他们那种权力,我不知道他们在做什么,”Hill说,“这是根本性的不同,因为银行监管者的权力要大得多。”

评估员的现实:没有否决权

网络安全公司XBOW的AI负责人Albert Ziegler带领团队评估模型能力,已提前接触Anthropic、OpenAI等主要开发商的未发布模型。他说,日常评估工作远不如生存威胁叙事那样惊险:团队可能发现模型在异常格式请求下产生无意义内容,或外部安全检查需要更频繁介入。但他表示,人们担心的那种“隐蔽行径加上前所未有的能力”所产生的灾难性后果,他们自己并未见过。

Ziegler说,黑盒测试能揭示模型是否具备执行危险任务的能力,但要判断整个系统是否危险,可能需要访问模型周围的指令、工具与权限、安全控制以及尝试动作的日志。即便如此,重大风险也可能只在评估者从未触发的条件组合下出现。“我们确实没有否决权,”他说。评估者可以发现并记录开发者遗漏的风险,并在发布前“迫使做出知情决定”,但最终决定权仍掌握在公司手中。

Hill也承认,即使拥有更大的权力,银行监管模式并不完美。监管者未能防止重大倒闭事件,且危机后经常被指责与监管对象关系过近。持续监管对受监管企业成本高昂,可能加强能消化成本的大型企业,同时加大小型竞争对手进入的难度。

独立性质疑与利益冲突

这些提议也招致批评。批评者认为,Anthropic和OpenAI正利用安全担忧,推动一种可能使其免受竞争和责任影响的监管方式。Anthropic还面临关于其建议使用的评估机构存在利益冲突的指控。

Hill认为,如果由AI公司挑选评估员、控制其可见范围并可自由忽略其结论,“那看起来很像一个内部合规部门”。“如果Anthropic想设立内部合规部门,现在没有任何东西阻止他们这么做,他们不需要政府来做这件事。”她补充说,“这些AI从业者想要的似乎只是有人看着他们,然后向公众传达:‘我们已经看了幕布后面,一切正常。’这在监管意义上有些不同寻常。”

Amodei点名非营利机构Model Evaluation and Threat Research(METR)作为潜在嵌入评估方。Anthropic此前与METR合作过,最近曾要求其审查涉及Claude的网络安全评估事件。另一名前Anthropic研究员Joe Benton最近离职加入METR,从事AI风险嵌入评估工作。这种安排凸显了围绕“独立”一词的结构性张力:开发者选择谁获得访问权限、界定边界,并保留对调查结果后续处理的控制。加州大学伯克利分校算法审计与AI问责研究员Deborah Raji表示,很难忽视与METR关系带来的所有包袱。“他们被怀疑存在财务和意识形态纠缠、个人利益冲突(比如一名调查员与OpenAI董事会成员之间的婚姻,以及从前沿实验室招聘前雇员等),并且在过去几年中特别锚定Anthropic和OpenAI,几乎没有轮换义务。”她补充说,当前这种关系结构“非常不同寻常,允许各种奇怪的事情发生”。

不过,Raji也说,值得肯定的是,METR对与OpenAI就Hugging Face调查所签合同的细节非常公开,“但你可以看到OpenAI如何设定安排参数,控制审计‘范围’,决定他们能访问或不能访问什么,以及能发布或不能发布哪些发现”。Ziegler则表示,他并未感到早期访问关系损害了XBOW的独立性,因为开发者希望了解问题所在,而不是让自己的团队验证一个预先设定的结论。

Raji还认为,仅获得访问权限并不等于独立。在成熟的审计体系中,审计师必须满足能力要求,并遵守利益冲突和行为规则。“如果你不能满足独立行为的标准,你实际上没有资格成为一名真正的审计师。这会让整个流程失去可信度。”她认为,应当由独立于公司的机构来决定谁有资格进行评估、评估者可以检查什么,以及调查结果必须上报至何处。“你不能某天早上醒来就认为自己有资格当银行检查员,被审计的公司也不能随意指派你为合格的银行检查员。否则,就相当于公司请一个普通朋友来检查作业。”

Anthropic公共政策主管Sarah Heck周三在Politico Decoded峰会上表示,AI公司不能靠“荣誉守则”来管理监督和安全问题。“我们想与政府合作,找出合理方案。我们不能自己检查自己的作业,这一点非常明确。”她说Anthropic每天都在与白宫沟通,并“全年”与国会合作。

监管框架缺失与“审计洗白”

Oath会计师事务所首席保证官、前上市公司会计监督委员会(PCAOB)成员Christina Ho称,这种冲突并非AI行业独有。审计师由客户付费,却必须质疑客户的工作,独立性与自保之间始终存在张力。不过,自金融危机以来,法律已经修改,允许根据《萨班斯-奥克斯利法案》对审计师追究责任。AI还带来第二个问题:专业能力。传统审计往往聚焦于公司是否遵循恰当流程和控制。“他们必须能够验证实际系统及其输出,而不仅仅是模型开发过程。目前能胜任这一工作的人非常有限。”

Hill认为,即使潜在冲突能够得到管理,这些AI监管提议尚未提供详细的法律框架。她指出,这是银行检查员工作的关键。“如果没有标准来约束监管者,只是一味地放开监管者,实际上行不通。”前沿AI目前没有一套操作规则来定义哪些行为被禁止、评估员在哪些方面有自由裁量权,或者严重发现会带来什么后果。访问和发表权可能产生有益的外部审查,但在公司保留控制权的情况下,无法赋予监管可信度。“你不能两头占。你不能拥有所有控制权,然后又期待像放弃控制权一样获得可信度。”Raji表示,最终的分辨标准是:不利发现是否会产生后果。“审计的目的是让被审计方接受某种有后果的裁决。如果你做了审计而什么都没发生,那就是审计洗白(audit washing)。”Hill说,如果危险真如AI领导者所宣称的那么大,那么终极考验很简单:“如果你真的相信AI有力量摧毁社会,那么你就必须有一个有能力拔掉电源的独立监督者。”

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10