Byron Kaye

路透悉尼4月2日 - 据该工具开发者称，新西兰正在开发一种新工具，通过该工具，在 ChatGPT 上显示出暴力极端主义倾向的人将被引导到基于人工和聊天机器人的去极端化支持。

面对越来越多指责人工智能公司未能阻止甚至助长暴力的诉讼 (link)，这项举措是解决安全问题的最新尝试。

今年2月，OpenAI被加拿大政府威胁要进行干预 (link)，因为该平台在未通知当局的情况下禁止了一名实施致命校园枪击案的人。

ThroughLine是ChatGPT的所有者OpenAI以及竞争对手Anthropic和谷歌（Google GOOGL.O）近年来聘用的一家初创公司，该公司在用户被标记为有自残、家庭暴力或饮食失调风险时，会将用户转至危机支持中心。其创始人兼前青年工作者埃利奥特·泰勒（Elliot Taylor）表示，该公司还在探索如何扩大服务范围，以纳入预防暴力极端主义。

公司正在与克赖斯特彻奇呼吁（The Christchurch Call）进行讨论，该组织是在2019年新西兰发生最严重的恐怖袭击事件后成立的一个旨在消除网络仇恨的倡议组织。前青年工作者泰勒表示，该反极端主义组织将在ThroughLine开发干预聊天机器人的同时提供指导。

泰勒在接受采访时表示："这是我们希望朝着这个方向迈进的事情，我们希望在这方面做得更好，然后能够更好地为平台提供支持。"他补充说，目前尚未确定时间表。

OpenAI 确认了与 ThroughLine 的合作关系，但拒绝发表进一步评论。Anthropic和谷歌没有立即回应置评请求。

泰勒在新西兰农村的家中经营著自己的公司，该公司提供由 180 个国家的 1,600 个帮助热线组成的不断更新的网络，已成为人工智能公司的首选。

一旦人工智能检测到潜在的心理健康危机迹象，它就会将用户转介至 ThroughLine，由后者为他们匹配附近可用的人工服务。

但创始人说，ThroughLine 的服务范围仅限于特定类别。他补充说，随着人工智能聊天机器人的普及，人们在网上披露的心理健康问题也越来越广泛，现在还包括与极端主义的暧昧关系。

更多聊天机器人，更多问题

泰勒说，反极端主义工具很可能是一种混合模式，将经过培训的聊天机器人与现实世界的心理健康服务转介相结合，以应对显示出极端主义迹象的人。

他说："我们使用的不是基础 LLM 的训练数据。"他指的是大型语言模型平台用来形成连贯文本的通用数据集。"我们正在与正确的专家合作。"该技术目前正在测试中，但尚未确定发布日期。

代表克赖斯特彻奇呼吁（The Christchurch Call）的反恐顾问盖伦-兰菲尔-恩格伦德（Galen Lamphere-Englund）说，他希望能为游戏论坛的版主以及希望剔除网上极端主义的父母和看护人推出该产品。

昆士兰科技大学（Queensland University of Technology）的人工智能研究员亨利-弗雷泽（Henry Fraser）说："聊天机器人重定向工具是一个好主意，也是一个必要的主意，因为它认识到问题不仅在于内容，还在于关系动态。"

他说，该产品的成功可能取决于 "后续机制有多好，它们引导人们解决问题的结构和关系有多好"。

泰勒说，后续功能，包括可能向当局发出的关于危险用户的警报，仍有待确定，但会考虑到引发行为升级的风险。

他说，处于困境中的人往往会在网上分享他们不好意思对人说的话，如果政府向平台施压，要求它们切断参与敏感对话的用户，就有可能加剧危险。

根据纽约大学斯特恩商业与人权中心 2025 年的一项研究 (link)，在执法部门的压力下，平台加强了对激进行为的控制，这使得同情者转向了 Telegram 等监管较少的替代品。

泰勒说："如果你与人工智能对话并披露危机，它却关闭了对话，没有人知道发生了什么，这个人可能仍然得不到支持。"

(为便利非英文母语者，路透将其报导自动化翻译为数种其他语言。由于自动化翻译可能有误，或未能包含所需语境，路透不保证自动化翻译文本的准确性，仅是为了便利读者而提供自动化翻译。对于因为使用自动化翻译功能而造成的任何损害或损失，路透不承担任何责任。)