近乎完美的技术的危险性

2026年3月17日，美国东部时间上午7点

那气味很奇怪，刺鼻，像化学品的味道，不对劲。水泥墙离得太近了。我的眼镜不见了。我的一个孩子站在我们车旁的人行道上——他没有哭，只是很困惑。

安全带扣住了，碰撞吸能区也变形了，安全气囊也弹出来了。所有旨在保护人体的装置都发挥了作用。但这辆特斯拉Model X却彻底报废了。

去年秋天的一个星期天，我像往常一样开车，沿着旧金山湾区蜿蜒的住宅街道，送儿子去参加童子军的集会。这条路我们已经走过几百次了。特斯拉处于完全自动驾驶模式，行驶得非常完美——直到它突然失灵。

接下来发生的事，我只能拼凑起来。我的记忆很模糊，一部分来自我的一个儿子，他当时坐在后座，目睹了整个过程。车子正在转弯。突然感觉不对劲——方向盘猛地向一边抖了一下，然后又向另一边抖了一下，车子以一种我意想不到的方式减速了。我转动方向盘想控制住车子。我不知道当时的系统到底在做什么，也不知道为什么。我只知道，就在那几秒钟之内，我们撞到了墙上。

你或许会觉得在这种情况下我应该知道该怎么做。我曾经在优步负责自动驾驶汽车部门，致力于打造一个科技能够保护我们免受事故伤害的未来。我考虑过各种极端情况、故障模式，以及看似平稳运行背后隐藏的脆弱性。我的团队培训人类驾驶员，让他们知道在自动驾驶汽车出现故障时何时以及如何介入。在我负责该部门的两年里，我们的早期试点项目没有发生任何人员伤亡。

我刚开始开特斯拉的时候，只在高速公路上启用完全自动驾驶功能。因为高速公路上车道线清晰，交通状况也比较稳定，所以完全自动驾驶模式确实很实用。后来有一天，我试着在一条普通道路上使用，效果也相当不错，于是就养成了习惯。

尽管发生了事故，我们还是幸运的。我只是脖子僵硬、脑震荡、头痛了几天，还有一些挥之不去的记忆。孩子们也毫发无损地爬了出来。不过，可以说我被压在了研究员玛德琳·克莱尔·伊利什所说的“道德崩溃区”里。汽车的某些部件经过专门设计，可以在碰撞中吸收冲击力，保护车内人员。但伊利什认为，当复杂的自动化系统出现故障时，最终承担责任的却是人类用户。我的车的全自动驾驶模式已经完美运行了三年，但事故发生后，保险报告上的名字却是我。

而且，这辆车还掌握着证据。当你驾驶时，它会记录你的手部位置、反应时间、是否将视线集中在路面上——车辆会处理数千个数据点。事故发生后，特斯拉利用这些数据将责任推卸给驾驶员。2018年，在加州山景城发生一起致命车祸后，该公司发表声明称，“车辆日志显示，当时并未采取任何行动。”（特斯拉未对此置评。）

虽然特斯拉可以访问这些记录，但车主却很难做到。他们可以申请查看自己的数据，但一些车主表示他们只收到了部分数据，不得不诉诸法律才能获得更多信息。在佛罗里达州一起非正常死亡案件中，原告寻求特斯拉驾驶辅助系统故障的关键证据时，该公司却表示没有相关数据。原告不得不聘请一名黑客，从事故车辆的芯片中提取了这些数据。之后，特斯拉声称这些数据多年来一直保存在其服务器上，公司未能找到这些数据纯属疏忽。（法官认为没有“充分证据”证明特斯拉试图隐瞒数据。）

目前，法律原则很简单：责任在你。尽管特斯拉最初将其技术称为“完全自动驾驶能力”（Full Self-Driving Capability），但该系统官方分类为“L2级”部分自动驾驶，这意味着人必须始终保持控制。去年，加州一位法官认定特斯拉最初的名称“明显错误”，会误导消费者；特斯拉现在使用“完全自动驾驶（监督式）”（Full Self-Driving (Supervised)）。2019年，一辆使用该技术的特斯拉汽车在加州造成两人死亡，但最终起诉被告的是车辆自身的日志，而非设计该系统的公司，被告是驾驶员，而非车辆本身。直到去年，特斯拉才首次在重大判决中被追究责任。当时，陪审团在佛罗里达州的一起过失致死案中认定特斯拉负有部分责任，并判给原告2.43亿美元赔偿金。

类似的模式正在所有需要算法与人类协同工作的地方涌现：例如我们的收件箱、搜索结果和医疗记录。这些系统正朝着完全自动化的方向发展，但尚未达到这一目标。计算机仍然会经常犯错，需要人工监督来避免或纠正。

完全自动驾驶几乎无时无刻不在运行——据特斯拉统计，其搭载该技术的车队在发生重大事故前已行驶数百万英里。而问题就在于此：我们要求人类去监督那些旨在让监督显得毫无意义的系统。一台经常出故障的机器能让你保持警觉。一台完美运行的机器无需任何监督。但一台几乎完美运行的机器呢？危险就潜藏于此。研究表明，在几个小时的完美运行之后，驾驶员很容易开始过度信任自动驾驶系统。美国公路安全保险协会的一项研究显示，在使用自适应巡航控制一个月后，驾驶员查看手机的概率增加了六倍以上。

特斯拉在其网站上对“完全自动驾驶”的描述中警告说：“切勿掉以轻心”，而我当时觉得自己并没有掉以轻心。事故发生前，我的双手一直放在方向盘上。但我当时的驾驶方式是系统预先设定的：监控而非操控，完全信任软件会做出正确的判断。熟悉之后，人往往会变得麻木，而开发这些系统的公司似乎也深谙此道。我当然也明白这一点。但我最终还是放松了警惕。

心理学家称之为警觉性下降。监控一个近乎完美的系统会让人感到乏味。而乏味会导致走神。研究结果毫不留情：自动驾驶系统将控制权交还给驾驶员后，驾驶员需要五到八秒的时间才能重新集中注意力。但紧急情况的发生速度远比这快得多。驾驶员的生理反应可能是瞬间的——抓住方向盘，踩下刹车。但心理层面呢？重建情境，识别问题所在，决定应对措施？这些都需要时间，而你的大脑根本没有那么多时间。

2018年发生在山景城的那起事故中，司机在车辆自动转向撞上中央隔离带前有六秒钟的时间。他甚至都没碰方向盘。同年在亚利桑那州坦佩市，一辆优步测试车上的传感器在5.6秒的预警时间内探测到附近有行人。安全员抬头查看后，在不到一秒钟的时间内接管了方向盘。那时，一切都已成定局。

就我而言，事故发生前我确实采取了行动。但我被要求在瞬间从乘客切换回飞行员——要在眨眼的时间内克服几个月形成的习惯。飞行日志会显示我转动了方向盘，但不会显示那不可能完成的计算。

我对事故发生的具体情况了解不多，所以无法断言是特斯拉的技术导致了车祸。但问题远不止一家公司的自动驾驶系统那么简单。它关乎我们如何构建每一个人工智能系统、每一个算法、每一个需要我们信任并训练我们给予信任的工具。这种模式无处不在：先让人们习惯于依赖系统，削弱他们的警惕性；然后，一旦出现故障，就拿出服务条款来指责他们疏忽大意。

我的车在出现故障时不会发出警告。聊天机器人也不会；无论结果正确与否，它们都用同样自信的语气给出答案。即使引用的信息来源可疑或捏造，它们也能展现出专业性。它们用权威的语气使用技术术语。而我们却相信它们，因为我们为什么不相信呢？它们之前已经多次正确过了。

汽车让我们循序渐进地学习驾驶；人工智能则让我们循序渐进地学习。第一周，你会仔细阅读聊天机器人的回复。到了第三周，你却能不经阅读就复制粘贴。错误并没有消失，但你的警惕性却下降了。你的判断力也随之减弱，直到有一天，你突然意识到自己根本记不清备忘录里哪些想法是你自己想的，哪些是人工智能生成的。我们如此轻易地交出自己的思考能力，这又说明了我们什么呢？

我的车抛锚时，那种感觉是立竿见影、触手可及的。而聊天机器人的故障却悄无声息、难以察觉。你往往要过很久才会发现——邮件已经发出，决策已经做出，代码已经发布。等你发现错误时，责任早已落到别人头上，而且你还背负着罪名。系统运转正常时，你看起来效率很高。一旦系统出现故障，你的判断就会受到质疑，有时甚至会酿成灾难性的后果。2023年，一位纽约律师因为引用了六个根本不存在的案例而受到处罚。这些案例都是ChatGPT捏造的，但他却信任了它，最终法院责怪的是他，而不是这个工具。因为聊天机器人永远不会被解雇。

我们正经历着自主性的“恐怖谷”效应。计算机系统不仅接近人类，它们几乎能够独立运行。一旦出现故障，就必须有人承担后果。目前，这个人就是我们。但是，当我们为自动驾驶汽车或人工智能工具付费时，我们以为自己购买的是一个成品，而不是参与测试一个仍在开发中的产品。

这种“几乎”阶段并非短暂的过渡。它本身就是产品——一种将伴随我们数年甚至数十年的产品。因此，留意其中的规律至关重要。当人工智能系统从不承认任何不确定性，或者当汽车的宣传语是“自动驾驶”，而细则却写着“驾驶员负责”时，这就是一个警示信号。当你意识到自己在过去10英里的路程中，或者在过去10封自动生成的邮件中，其实并没有真正集中注意力时，你就落入了陷阱。

事情并非一定要如此，但除非消费者看清现状并拒绝接受，否则现状不会改变。我们应该拒绝接受这种强加给我们的协议——服务条款成了公司的挡箭牌，却成了攻击用户的利剑。我们应该要求公司分担他们诱使我们承担的风险。如果他们的设计旨在让用户安于现状，那么当产品出现问题时，他们也应该承担部分责任。

这并非不切实际的幻想。2025年7月，中国汽车制造商比亚迪宣布，将承担因使用其自动泊车功能而引发的事故造成的损失，从而保护车主的保险和驾驶记录。这虽然只是一个公司、一个功能的例子，但却证明了责任是一种选择。其他企业也可以被说服加入其中。

我出车祸时，孩子们就坐在后座。总有一天，他们会拥有自己的车，并以我目前无法想象的方式使用人工智能。他们继承的系统要么是为了提升他们的能力，要么是为了麻痹他们，并在出现问题时把责任推卸给他们。我希望他们能意识到自己正在被训练。我希望他们能问问，谁来承担成本和损失。

本文刊登于2026 年 4 月《大西洋月刊》印刷版，标题为“我的自动驾驶汽车事故”。