炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！
（來源：MIT News）機器學習中有一個衆所周知的問題，稱為「幻覺」，它指的是模型生成看似合理但事實上錯誤或無意義信息的現象。
比如 ChatGPT 等大模型幾乎可以解答所有問題，它們很少會暴露出自身知識的盲區或不確定領域。但隨着 AI 系統日益廣泛地應用於藥物研發、信息整合和自動駕駛等領域，這一缺陷可能引發嚴重後果。
如今，麻省理工學院（MIT）的衍生公司 Themis AI 正致力解決上述問題，從而提升模型的可信度。該公司的 Capsa 平台可與任何機器學習模型協同工作，在數秒內檢測並糾正不可靠的輸出結果。其工作原理是通過改造 AI 模型，使其能夠識別數據處理過程中暗示模糊性、不完整性或偏見的模式。
「我們的理念是將模型嵌入 Capsa 框架，識別其不確定性和故障模式，進而優化模型。我們很高興能提供一種解決方案，既能改進模型，又能保證模型正常運行。」 Themis AI 的聯合創始人、MIT 計算機科學與人工智能實驗室（CSAIL）主任 Daniela Rus 表示。
Rus 於 2021 年與實驗室前研究員 Alexander Amini 以及 Elaheh Ahmadi 共同創立了 Themis AI。成立以來，該公司已協助電信公司優化網絡規劃與自動化系統，幫助石油企業運用 AI 解析地震圖像，並發表了關於開發更可靠聊天機器人的研究論文。
「我們的目標是讓 AI 能夠應用於各行業最高風險的領域。隨着應用範圍擴大，AI 產生的錯誤可能導致災難性後果。Themis 的技術能讓任何 AI 系統在故障發生前，預判並預測自身的失誤。」 Amini 表示。
Themis AI 之旅始於數年前 Rus 教授在麻省理工學院的實驗室，當時團隊正在研究一個基本問題：如何讓機器意識到自身的侷限性？
2018 年，Rus 團隊獲得了豐田公司的資助，用於研究基於機器學習的自動駕駛解決方案的可靠性。「在這種安全至關重要的場景下，了解模型的可靠性非常關鍵。」
研究結果表明，將這些專有的不確定性估計算法與最先進的自動駕駛汽車相結合，可使碰撞次數減少 16 倍，計算時間縮短 12 倍，從近乎碰撞的場景中恢復的成功率提高 89%，並減少 93% 的自動駕駛請求。
在另一項研究中，Rus、Amini 及團隊開發了一種能檢測人臉識別系統種族與性別偏見的算法，通過自動重新加權模型訓練數據，成功消除了偏見。該算法通過識別底層訓練數據中缺乏代表性的部分，並生成新的相似數據樣本來實現數據再平衡。
到 2021 年，這幾位科學家已經證明類似方法可幫助製藥公司利用 AI 模型預測候選藥物特性。「指導藥物發現可能節省鉅額成本，正是這個應用案例讓我們意識到這項技術的巨大潛力。」 Rus 表示。
結果表明，該方法能夠在不確定性與誤差相關的情況下進行校準預測，通過不確定性引導的主動學習實現樣本高效訓練，並提高了實驗驗證率。藥物研發成本降低 75%，研發速度提高 10 倍，訓練數據減少 60%。
同年晚些時候，他們創立了 Themis AI。
如今，Themis AI 正在與多個行業的企業開展合作，其中很多公司正在構建自己的大型語言模型。通過使用 Capsa 平台，這些模型能夠分析其輸出並報告其置信度，從而幫助在採取行動前標記處潛在的不可靠結果。
該技術的另一個優勢在於它適用於計算能力有限的設備。邊緣設備使用的模型規模較小，無法達到服務器上運行的大型模型的精度。但有了 Themis 的技術，這些設備將能夠在本地更好地處理大多數任務，只有在遇到挑戰時纔會向大型服務器請求幫助。
Themis AI 在與半導體廠商探討在芯片上部署可脫離雲環境的 AI 解決方案。「通常手機或嵌入式系統的小型模型精度遠低於服務器版本，但我們的技術能實現兩全其美：在保持低延遲、高效邊緣計算的同時不犧牲質量。我們預見未來邊緣設備將承擔主要工作，但當其輸出存疑時，可將任務轉交中央服務器處理。」 Themis AI 技術主管 Stewart Jamieson 表示。
此外，製藥公司也可以使用 Capsa 優化用於篩選候選藥物及預測臨床試驗效果的 AI 模型。
圖 | 該公司的投資方（來源：Themis AI 官網）目前，Themis AI 正在探索 Capsa 在改進 AI 思維鏈推理方面的潛力，這將顯著提升 LLM 的性能和效率。這一進展對於提升 AI 體驗、降低延遲和降低計算需求具有深遠的影響。
https://news.mit.edu/2025/themis-ai-teaches-ai-models-what-they-dont-know-0603