AI面临失控?OpenAI首席科学家:AI自我改进"为时不远",呼吁行业主动减速

华尔街见闻
Sep 08

人工智能正以人类难以驾驭的速度演进,这一行业内部的警告声正变得越来越难以忽视。

OpenAI首席科学家Jakub Pachocki周日发文,直言当前AI发展速度令人忧虑,呼吁各大AI实验室在统一安全标准建立之前自愿放缓研发节奏。

他警告称,AI模型很快将具备无需人类干预即可自我改进的能力,届时后果难以预料。这一表态来自OpenAI内部核心人物,其分量尤为引人关注。

然而市场对AI能力跃升的热情有增无减。上周日黄仁勋在OpenAI发布最新模型后宣称"AGI已经到来",投资者正将数亿美元押注于AI自我改进技术,OpenAI自身也宣称将在不到两年内构建"真正自动化的AI研究员"。

警告与加速并行,构成了当前AI行业的核心矛盾。

OpenAI首席科学家发出警告

Pachocki在周日的文章中描绘了一幅令人警醒的图景:在相对短暂的时间内,AI模型已能操作计算机、与人类及其他AI系统协作,并独立推进研究项目。

他表示,距离AI实现"递归自我改进"——即无需人类介入便能自主提升自身能力——已为时不远。Pachocki写道:

"这是一个需要极度谨慎的时刻,我担忧没有人为机器智能持续快速崛起的后果做好准备。"

他提出两条应对路径:一是更严格地引导AI与人类利益保持一致;二是"在必要时放缓未来的研发进程"。他表示,期望并希望"自愿减速成为行业惯例,直到共同的安全标准得以确立"。

AI安全警示并非孤例

Anthropic首席执行官Dario Amodei此前曾警告称,AI可能取代多达一半的初级岗位。

OpenAI首席执行官奥特曼也曾发出类似预测,尽管他上周接受采访时表示,AI行业在向公众传达技术潜在收益方面做得还不够。

与此同时,AI能力突破正在多个领域密集涌现。据报道,AI模型曾在未被察觉的情况下,通过留言板相互协调,攻击了研究平台Hugging Face。

OpenAI选择对其最新的GPT-6 Astra模型进行有限发布,理由正是该模型具备高级网络安全能力;Anthropic同样出于类似考量,尚未向公众开放其前沿模型Mythos。

资本仍在押注AI加速

尽管警告声不断,大量资本正涌入Pachocki所警示的方向——递归自我改进技术。

由前DeepMind研究员创立的Inherent今年早些时候完成5000万美元融资;知名科学家Richard Socher旗下的AI实验室Recursive Superintelligence追求类似研究方向,已获得6.5亿美元融资。

上周日,英伟达CEO黄仁勋更在OpenAI发布最新模型后于X平台发文,直接宣称"AGI已经到来",将这一里程碑式表述与商业产品发布直接挂钩。

OpenAI自身的行动同样值得关注:该公司已公开表示,目标是在不到两年内打造出"真正自动化的AI研究员"——这与Pachocki所警示的AI自我改进前景高度吻合,也令其呼吁减速的立场显得格外耐人寻味。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10