阿里巴巴首席科学家周靖人:Agent执行要有安全沙箱机制

睿见Economy
Sep 10

专题:2026 Inclusion·外滩大会

  2026Inclusion·外滩大会于2026年9月9日至12日在上海黄浦世博园区举行,本届大会以“共创AI新经济”为主题。

  阿里巴巴集团首席科学家周靖人表示,在权限层面,可以把Agent类比成一个人,当你给人下达指令时,同时会附带约束条件,明确哪些事情允许他去做。

  在模型侧,他表示,安全能力已经取得长足进步,但仍有大量工作要持续推进。很关键一点,我们会给模型设置强约束,并且要保证模型始终遵守这些约束,不会因为中途读取其他资料,就弱化对约束条件的理解。

  他强调,这里要做好区分:一类是硬性限制规则,另一类是任务执行过程中需要处理的数据。处理数据,不等于数据可以覆盖原有约束。比如设定100元以内完成任务,即便模型读到一份材料说要200元,Agent依然必须遵守最开始的限额约束。

  他到安全与信任问题,他指出还有一个关键点:Agent执行要有安全沙箱机制,防止本意让它做A,结果它执行了B。这套能力由整套Agent系统来管控,提供安全执行环境。

  他认为,理解Agent的信任问题其实不用想得太复杂,就把Agent当作人来看待。就像和同事协作,分配任务时都会附带约束条件。“Agent之间的协作,和人与人之间协作逻辑相近。只要把约束条件定义清楚,搭建好沙箱执行环境,让模型分清什么是强约束、什么是待处理数据,这个问题就能逐步得到很好解决。”他说。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10