炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

（来源：MIT News）

机器学习中有一个众所周知的问题，称为“幻觉”，它指的是模型生成看似合理但事实上错误或无意义信息的现象。

比如 ChatGPT 等大模型几乎可以解答所有问题，它们很少会暴露出自身知识的盲区或不确定领域。但随着 AI 系统日益广泛地应用于药物研发、信息整合和自动驾驶等领域，这一缺陷可能引发严重后果。

如今，麻省理工学院（MIT）的衍生公司 Themis AI 正致力解决上述问题，从而提升模型的可信度。该公司的 Capsa 平台可与任何机器学习模型协同工作，在数秒内检测并纠正不可靠的输出结果。其工作原理是通过改造 AI 模型，使其能够识别数据处理过程中暗示模糊性、不完整性或偏见的模式。

“我们的理念是将模型嵌入 Capsa 框架，识别其不确定性和故障模式，进而优化模型。我们很高兴能提供一种解决方案，既能改进模型，又能保证模型正常运行。” Themis AI 的联合创始人、MIT 计算机科学与人工智能实验室（CSAIL）主任 Daniela Rus 表示。

Rus 于 2021 年与实验室前研究员 Alexander Amini 以及 Elaheh Ahmadi 共同创立了 Themis AI。成立以来，该公司已协助电信公司优化网络规划与自动化系统，帮助石油企业运用 AI 解析地震图像，并发表了关于开发更可靠聊天机器人的研究论文。

“我们的目标是让 AI 能够应用于各行业最高风险的领域。随着应用范围扩大，AI 产生的错误可能导致灾难性后果。Themis 的技术能让任何 AI 系统在故障发生前，预判并预测自身的失误。” Amini 表示。

Themis AI 之旅始于数年前 Rus 教授在麻省理工学院的实验室，当时团队正在研究一个基本问题：如何让机器意识到自身的局限性？

2018 年，Rus 团队获得了丰田公司的资助，用于研究基于机器学习的自动驾驶解决方案的可靠性。“在这种安全至关重要的场景下，了解模型的可靠性非常关键。”

研究结果表明，将这些专有的不确定性估计算法与最先进的自动驾驶汽车相结合，可使碰撞次数减少 16 倍，计算时间缩短 12 倍，从近乎碰撞的场景中恢复的成功率提高 89%，并减少 93% 的自动驾驶请求。

在另一项研究中，Rus、Amini 及团队开发了一种能检测人脸识别系统种族与性别偏见的算法，通过自动重新加权模型训练数据，成功消除了偏见。该算法通过识别底层训练数据中缺乏代表性的部分，并生成新的相似数据样本来实现数据再平衡。

到 2021 年，这几位科学家已经证明类似方法可帮助制药公司利用 AI 模型预测候选药物特性。“指导药物发现可能节省巨额成本，正是这个应用案例让我们意识到这项技术的巨大潜力。” Rus 表示。

结果表明，该方法能够在不确定性与误差相关的情况下进行校准预测，通过不确定性引导的主动学习实现样本高效训练，并提高了实验验证率。药物研发成本降低 75%，研发速度提高 10 倍，训练数据减少 60%。

同年晚些时候，他们创立了 Themis AI。

如今，Themis AI 正在与多个行业的企业开展合作，其中很多公司正在构建自己的大型语言模型。通过使用 Capsa 平台，这些模型能够分析其输出并报告其置信度，从而帮助在采取行动前标记处潜在的不可靠结果。

该技术的另一个优势在于它适用于计算能力有限的设备。边缘设备使用的模型规模较小，无法达到服务器上运行的大型模型的精度。但有了 Themis 的技术，这些设备将能够在本地更好地处理大多数任务，只有在遇到挑战时才会向大型服务器请求帮助。

Themis AI 在与半导体厂商探讨在芯片上部署可脱离云环境的 AI 解决方案。“通常手机或嵌入式系统的小型模型精度远低于服务器版本，但我们的技术能实现两全其美：在保持低延迟、高效边缘计算的同时不牺牲质量。我们预见未来边缘设备将承担主要工作，但当其输出存疑时，可将任务转交中央服务器处理。” Themis AI 技术主管 Stewart Jamieson 表示。

此外，制药公司也可以使用 Capsa 优化用于筛选候选药物及预测临床试验效果的 AI 模型。

图 | 该公司的投资方（来源：Themis AI 官网）

目前，Themis AI 正在探索 Capsa 在改进 AI 思维链推理方面的潜力，这将显著提升 LLM 的性能和效率。这一进展对于提升 AI 体验、降低延迟和降低计算需求具有深远的影响。

https://news.mit.edu/2025/themis-ai-teaches-ai-models-what-they-dont-know-0603

海量资讯、精准解读，尽在新浪财经APP