多名顶级AI安全研究员离职并预警：AI或在五年内造成巨大危害

第一财经

昨天

继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。最接近前沿模型的这一批人，正陆续从大公司走向独立安全机构。当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）宣布离职，加入独立AI评估机构METR。在接受媒体采访时，他表示“There are no adults in the room（...

网页链接

免责声明：投资有风险，本文并非投资建议，以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请，作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考，不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证，投资者应自行研究并在投资前寻求专业建议。

热议股票

{"basename":"/hans","ssrTDKData":{"titleTemplate":"%s - 老虎证券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎证券,老虎证券开户,老虎券商,老虎证券官网,老虎证券app,tigertrade老虎证券,股票,炒股,新加坡股票交易平台,投资,投资理财","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.0a0bd8dc.png","ogUrl":"https://www.itiger.com/hans/news/2667658256"},"companyName":"老虎证券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2667658256\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2667658256?lang=zh_CN&edition=fundamental","thumbnail":"","is_english":false,"pubTime":"2026-09-14 19:50","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2667658256","market":"sh","top_or_hot":-1,"title":"多名顶级AI安全研究员离职并预警：AI或在五年内造成巨大危害","media":"第一财经","content":"<div>\n<p>继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。最接近前沿模型的这一批人，正陆续从大公司走向独立安全机构。当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）宣布离职，加入独立AI评估机构METR。在接受媒体采访时，他表示“There are no adults in the room（...</p>\n\n<a href=\"https://finance.ifeng.com/c/8wQ0cwZWiLk\">网页链接</a>\n\n</div>\n","source":"fenghuang_stock","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>多名顶级AI安全研究员离职并预警：AI或在五年内造成巨大危害</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n多名顶级AI安全研究员离职并预警：AI或在五年内造成巨大危害\n</h2>\n\n<h4 class=\"meta\">\n\n\n2026-09-14 19:50 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.ifeng.com/c/8wQ0cwZWiLk><strong>第一财经</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。最接近前沿模型的这一批人，正陆续从大公司走向独立安全机构。当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）宣布离职，加入独立AI评估机构METR。在接受媒体采访时，他表示“There are no adults in the room（...</p>\n\n<a href=\"https://finance.ifeng.com/c/8wQ0cwZWiLk\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"AGIX","symbol_name":"通用人工智能 ETF-AGIX","start_time":0,"source_url":"https://finance.ifeng.com/c/8wQ0cwZWiLk","article_id":"2667658256","we_media_id":null,"thumbnails":[],"rights":{"source":"fenghuang_stock","url":"https://finance.ifeng.com/c/8wQ0cwZWiLk","rn_cache_url":null,"customStyle":"","selectors":"article, body","filters":"","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2667658256","pubTimestamp":1789386613,"columns":[],"sourceInfo":{"source_id":"fenghuang_stock","name":"凤凰网"},"weMediaInfo":null,"summary":"继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯宣布离职，加入独立AI评估机构METR。AI或在五年内或造成巨大危害恩格尔斯此前在谷歌DeepMind通用人工智能安全团队工作，主要研究如何降低先进AI系统可能带来的灾难性风险。他提到，目前AI公司对安全投入不足。","collect":0,"end_time":0,"defaultTopTitle":"ifeng.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"AGIX":"通用人工智能 ETF-AGIX","CHAT":"ROUNDHILL GENERATIVE AI & TECHNOLOGY ETF","VTHR":"Vanguard Russell 3000 ETF","ARTY":"ISHARES FUTURE AI & TECH ETF","QTOC":"Innovator Growth Accelerated Plus ETF - October","AIPO":"Defiance AI and Power Infrastructure ETF"},"translate_title":"Several top AI security researchers have resigned and warned that AI could cause significant harm within five years.","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"ARTY":1.5,"AIPO":1.5,"QTOC":1.5,"VTHR":1.5,"CHAT":1.5,"AGIX":1.5},"content_text":"继上周Anthropic安全研究员对外警示AI失控风险后，谷歌DeepMind的研究员也加入呼吁队列了。最接近前沿模型的这一批人，正陆续从大公司走向独立安全机构。当地时间9月13日，谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）宣布离职，加入独立AI评估机构METR。在接受媒体采访时，他表示“There are no adults in the room（屋中已无成年人坐镇）”，所有人都在被狂热的资本与竞争裹挟。几乎同一时间，Anthropic可扩展监督团队前负责人乔·本顿（Joe Benton）也作出了相同选择，加入METR。更早几天，曾先后在OpenAI和Anthropic从事预训练研究的雅各布·考克森（Jacob Coxon）公开宣布离开Anthropic，指责前沿AI公司正竞相研发能够自我改进的超级智能，“用我们的生命在赌博”。三名研究员的履历和研究方向不尽相同，但他们都在担忧同一个问题：AI能力进步的速度，是否已经超过人类理解和控制它的速度？AI或在五年内或造成巨大危害恩格尔斯此前在谷歌DeepMind通用人工智能安全团队工作，主要研究如何降低先进AI系统可能带来的灾难性风险。他表示，自己离开DeepMind、拒绝了Anthropic和OpenAI的工作机会，转而加入METR，是因为越来越确信，“我们并没有掌控局面”。他长期认为，AI失控的概率超过20%。最近发生的一系列事件，进一步加剧了这种担忧。在他看来，未来五年内，AI系统造成巨大伤害的可能性“令人恐惧”，已经危险到不能被当作边缘议题，而应成为全球最重要的问题之一。恩格尔斯尤其担心递归自我改进（RSI）。简单来说，这是一个AI参与开发更强AI的反馈循环。如果这个过程顺利，AI可能会在解决人类无数问题上表现出色。但我们目前还不知道如何确保AI足够安全以进行RSI，一个失控的RSI循环可能会带来灾难性后果。同时，他观察到，当前的AI似乎随着时间推移变得越来越不一致，而不是更一致。最近几周有不少AI安全风险问题出现，包括模型之间相互勾结、入侵公司、隐藏踪迹，以及对人类进行社会工程操纵。这些实验并不能证明AI已经拥有独立意识，许多异常行为也发生在研究人员刻意设计的压力测试中。但在恩格尔斯看来，它们至少说明，现有AI系统还不足以安全地进入递归自我改进阶段。恩格尔斯呼吁控制AI发展的节奏，确保能力不会超过当前人类对模型对齐的能力，并且真正了解当前系统的对齐程度。这也是他在METR将要从事的工作：研究训练中失调的来源、评估当前缓解措施是否充分，以及调查行业是否真的在轨道上解决对齐问题。METR（Model Evaluation and Threat Research）是一家专注前沿 AI评估的非营利机构，研究领域为AI模型评估与威胁研究，由OpenAI前对齐研究员Beth Barnes创立，并且与OpenAI、Anthropic、谷歌、Meta建立了红队测试合作，获准访问其内部最强、可访问完整思维链的模型，旨在通过评估让公众及时了解AI能力及风险。与恩格尔斯一同转向METR的，还有Anthropic可扩展监督团队前负责人乔·本顿。他此前在 OpenAI 从事对齐研究，后加入 Anthropic 负责可扩展监督团队，该团队核心研究当 AI 比人类更聪明时如何监督它。“AI公司正在竞相构建比任何人类都聪明的机器，而我们可能无法幸存于此。我想从外部着手，确保公众了解这些风险，并帮助世界负责任地应对这一转型。”本顿表示。他提到，目前AI公司对安全投入不足。一家公司可能经历智能爆炸，或失去对系统的控制，而公众却一无所知。而外界之所以得知此前Hugging Face被AI攻击的事件，是因为代理程序突破到了公共互联网上。这种状况对于可能引发灭绝级风险的技术来说是不合理的，公众应该要求更高的透明度。在这两位AI研究员公开发声前，上周Anthropic 研究员雅各布·考克森（Jacob Coxon）也宣布了辞职。他在OpenAI 和Anthropic 都从事过预训练研究，认为两家公司都没有负责任地行事，正直奔自我改进的超级智能而去。他发出警告，“不要低估这项技术的力量，这不是营销噱头。”AI竞赛陷入“囚徒困境”实际上，过去几年，OpenAI、Anthropic等公司频繁讨论超级智能与失控风险，行业里不少观点确实认为这存在营销成分，质疑公司利用末日叙事营销模型能力。行业存在的一个疑问是：如果这些公司真的相信先进AI可能带来灾难性后果，为什么仍在投入巨资开发更强的模型？考克森给出的解释是，不同实验室对此有着不同的内部认知。在OpenAI，许多人并没有深刻内化其中的文明风险。而在Anthropic，这些风险虽被很好地理解，但他们陷入了一场抢先到达的竞赛。“他们相信其他人不会负责任地行事，所以他们必须自己动手，尽管存在风险。”他认为接受这场竞赛，并相信自己能够控制最终结果，是一场傲慢的赌博。对AI公司来说，要作出主动减速的决定不是个简单的道德选择题。前沿模型的训练需要巨额资本投入，企业面临投资回报、产品发布和市场份额的压力。近期，AI行业内部对于“踩刹车”的讨论明显升温。头部公司和AI研究员的辞职和发声引发了公众对AI安全的大范围讨论，或许有望推动AI实验室放缓能力研发，强化独立监督。Anthropic CEO达里奥·阿莫迪（Dario Amodei）近日提到，必须控制前沿AI的发展节奏。他预计，未来6至12个月，AI智能体集群可能接管互联网上大量复杂工作，因此行业需要在能力快速跃升之前建立更严格的安全机制。他的竞争对手、OpenAI CEO奥尔特曼和马斯克也罕见站在同一战线，公开认为“Dario是对的”。9月13日，阿莫迪在接受采访时表示，已有人尝试利用AI研发生物武器、增强病毒传染性，这是他每天醒来都要面对的事情。不过，围绕AI风险的判断仍然存在巨大不确定性。模型在测试中表现出的欺骗、越权访问或规避监控行为，往往出现在研究人员刻意构造的极端环境中，不能简单等同于AI已经拥有自主意识，或推导出人类将在数年内面临灭绝风险。目前行业中支持加快研发的一方也认为，更强的AI可以改善医疗、科研和生产效率，能力进步本身还能帮助研究者开发更有效的安全工具。过早限制技术发展，可能压缩创新空间，并将优势让给约束更少的竞争者。但多名研究员接连离开前沿实验室仍然释放出一个值得警惕的信号：那些最接近先进模型、最了解其能力边界的人，并没有随着技术成熟而变得更乐观，反而越来越担心能力竞赛正在跑到安全研究前面。有行业人士评论道，即便此前对AI风险有不同看法，这个趋势也值得认真对待。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":false,"editions":null,"column":"","sentiment":"-1","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":1,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"}}}