阿里巴巴首席科学家周靖人:Agent执行要有安全沙箱机制

睿见Economy
09/10

专题:2026 Inclusion·外滩大会

  2026Inclusion·外滩大会于2026年9月9日至12日在上海黄浦世博园区举行,本届大会以“共创AI新经济”为主题。

  阿里巴巴集团首席科学家周靖人表示,在权限层面,可以把Agent类比成一个人,当你给人下达指令时,同时会附带约束条件,明确哪些事情允许他去做。

  在模型侧,他表示,安全能力已经取得长足进步,但仍有大量工作要持续推进。很关键一点,我们会给模型设置强约束,并且要保证模型始终遵守这些约束,不会因为中途读取其他资料,就弱化对约束条件的理解。

  他强调,这里要做好区分:一类是硬性限制规则,另一类是任务执行过程中需要处理的数据。处理数据,不等于数据可以覆盖原有约束。比如设定100元以内完成任务,即便模型读到一份材料说要200元,Agent依然必须遵守最开始的限额约束。

  他到安全与信任问题,他指出还有一个关键点:Agent执行要有安全沙箱机制,防止本意让它做A,结果它执行了B。这套能力由整套Agent系统来管控,提供安全执行环境。

  他认为,理解Agent的信任问题其实不用想得太复杂,就把Agent当作人来看待。就像和同事协作,分配任务时都会附带约束条件。“Agent之间的协作,和人与人之间协作逻辑相近。只要把约束条件定义清楚,搭建好沙箱执行环境,让模型分清什么是强约束、什么是待处理数据,这个问题就能逐步得到很好解决。”他说。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

免责声明:投资有风险,本文并非投资建议,以上内容不应被视为任何金融产品的购买或出售要约、建议或邀请,作者或其他用户的任何相关讨论、评论或帖子也不应被视为此类内容。本文仅供一般参考,不考虑您的个人投资目标、财务状况或需求。TTM对信息的准确性和完整性不承担任何责任或保证,投资者应自行研究并在投资前寻求专业建议。

热议股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10