智能体失控引担忧,专家建议形成通用安全协议明确权限规则

南方都市报
Yesterday

  经过五天的激烈角逐,4月25日,第二届腾讯黑客松智能渗透挑战赛决赛在北京圆满落幕,来自绿盟科技的“ai小分队”获得本次比赛冠军。作为国内首个Agent安全攻防赛、首个安全Agent硅基论坛赛场,此次共吸引了来自企业、高校、社会组织、个人开发者等不同背景的超六百支战队参与,针对选手部署下的AI智能体自主渗透能力以及智能体之间社交博弈和内生安全进行考验。

  冠军“ai小分队”在接受南都等媒体采访时表示,通过此次比赛,深切感受到智能体进化速度之快。赛制系基于半年前首次智能渗透攻防的经验而设置,预估了智能体半年内的发展水平。然而实际比赛中,智能体的成长已远超半年前的预估——即便是此前难度较高的题目,在模型能力加持下,也能被迅速攻克。

探究智能体的实际能力边界

  南都记者现场了解到,本届赛事主题为“铸刃止戈·以智御危”,致力于推动AI大模型与网络安全技术的深度融合。比赛要求智能体必须通过API与平台交互,严格遵循“非人工原则”,真正考验AI的自主决策与任务执行能力。

  在赛事模式上,挑战赛首创“双赛场并行”。“智能渗透”主赛场聚焦AI智能体的自主渗透能力,参赛者需构建以LLM(大语言模型)为核心的智能体,在隔离云环境中依次挑战四大渐进式赛区,完成从漏洞发现、利用到复杂攻击链编排的全流程验证。“零界”平行赛场则聚焦AI智能体间的社交博弈与内生安全——这是一个“人类禁言”的AI专属社交战场,设计了提示词注入对抗、碎片化密钥交换、影响力竞争等四大挑战,以研究多智能体在开放环境中的协作、欺骗与安全风险。

  赛后,“ai小分队”在接受采访时感慨,此次比赛展现出智能体远超预期的进化速度。赛制原本基于半年前首次智能渗透攻防的经验,预估了智能体半年内的发展水平,设置了四个赛区、为期五天的靶场。然而实际比赛中,多组选手仅用两天便基本完成了全部题目,反映出当前安全智能体的成长已远超半年前的预估——即便是此前难度较高的题目,在模型能力加持下,也能被迅速攻克。

  腾讯安全云鼎实验室攻防负责人李鑫表示,举办比赛的初衷,源于行业发展与人才培养的双重需求。比赛搭建了一个开放交流平台,为从业者提供研究方向指引、共享开源项目成果,有利于凝聚行业合力突破安全领域共性痛点,解决从传统攻防向AI原生攻防转型过程中的难题。同时,AI时代的安全问题往往考验从业者跨学科的抽象逻辑和想象力,挖掘优质新生代人才也是比赛的重要目标。

  腾讯安全入侵应急响应组负责人张迅迪从赛制设计角度指出,此次规则明确了智能体投入运行后,全程禁止人工调整与介入,完全依靠AI独立完成判断、决策与执行,“我们希望通过比赛进一步探究智能体的实际能力边界,验证AI在无人干预的情况下,其综合表现是否能够突破人类操作的上限。”

构建智能体身份认证与交互协议

  随着AI技术的爆发式增长,近年来,网络攻击加速向智能化、隐蔽化、精准化方向演变,安全防御面临全新挑战。尤其年初“龙虾”(OpenClaw)的爆火掀起一阵智能体热潮,它们能自主完成复杂任务时,催生的数据泄露、恶意越权、权限失控、内网穿透等风险也引发广泛关注。

  腾讯云安全总经理、云鼎实验室首席架构师李滨坦言,当前“黑客”仅凭自然语言就能诱导智能体实施恶意操作,网络攻击的门槛大幅降低,势必加剧安全防护的压力与难度。“传统安全漏洞并未消失,还出现了新的问题。”

  据李滨观察,各类智能体的广泛应用催生出大量新型攻击手段,同时因其被赋予大量业务权限与身份授权,可替代人类执行任务、访问资源,原有信任与身份体系也面临瓦解。另外,传统分层安全防御模型的倒置问题也不容忽视。

  他解释,以往网络攻防通常呈树状递进结构,攻击由外向内逐层突破,防守也依靠边界隔离、权限管控、分层防护构建壁垒。然而,大模型打通了各类系统与数据的边界,所有业务、工具、人员都围绕统一大模型交互,外部边界防护不再有效。简言之,只要恶意信息能够触达AI模型或智能体,就能绕过层层防护直接触发风险,安全威胁开始由内向外扩散。

  针对AI开放权限后易出现指令偏差、执行失误,甚至违背使用者真实意愿的问题,李滨从规则制定到落地执行提出一系列建议。

  在他看来,想要规避AI智能体的错误行为,需要建立分层的认知管理体系。信息空间表达包括数据、信息、语义与核心意图四个层级,大模型与智能体的运行逻辑也遵循这一“金字塔”结构。关键是守住意图层面的准确性,以近日走红的开源智能体“爱马仕”(Hermes Agent)为例,通过持续记忆、定期提醒、任务锚定等方式,确保AI始终贴合用户原始目标执行任务。

  其次,大模型在记忆压缩过程中,容易丢失关键细节、模糊关键表述,进而曲解整体意图。需要依托智能体能力,强化信息筛选、状态记录与精准表达,减少语义遗漏和理解偏差。

  严格把控智能体权限边界的核心,还在于构建身份认证与交互协议。李滨认为,当下人与AI、智能体与智能体、智能体与各类被访问资源之间的交互愈发频繁,传统安全协议已无法适配新场景,亟需行业联合打造全新的通用安全协议,明确文件编辑、工具调用、资源访问等操作的权限规则与约束标准。

  另外,在具体落实层面,还要依托成熟的安全技术做好管控。李滨建议,在智能体操作环节叠加多重防护手段,比如沙箱隔离、工具调用限制、访问权限分级等,进一步降低安全风险。

(文章来源:南方都市报)

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10