這一次,“不會”竟成了大模型的高光時刻。
雖然在 IMO 第 6 題上得了零分,OpenAI 的金牌模型卻展現了“高智商的誠實”。
正如 OpenAI 研究員 Noam Brown 在最新訪談中所揭示的:
當 IMO 推理模型會在缺乏有效證據時表示“我不確定”,這會顯著減少隱藏錯誤。
在 AI 摘下 IMO 金牌後,OpenAI 金牌小分隊成員 Alex Wei、Sheryl Hsu 和 Noam Brown 參與了紅杉資本組織的一場對話,揭祕模型攻克精英數學難題的底層突破。
有網友幫忙總結了個太長不看版:
與過去那些“看起來完美,實則錯誤”的幻覺式答案不同,這一代大模型開始學會“承認自己不會”。
它標誌着模型正在從胡編亂造的幻覺式回答,轉向更加可靠且具有“自我認意識”的全新階段。
三位成員還在這場對話中,分享了更多關於衝刺 IMO 的有趣細節。
IMO 金牌模型能承認自己不知道
儘管數學家與計算機科學家一致認可 IMO 金牌模型的價值。
但他們常常抱怨,當模型遇到知識盲區時,它總會輸出一個令人信服但錯誤的答案。
他們不得不耗費大量精力逐行驗算,才能甄別那些幻覺陷阱。
IMO 第 6 題讓大模型全軍覆沒,當然,OpenAI 也對其進行了大量計算。
有一個由 2025×2025 個單位正方形組成的網格。Matilda 希望在網格上放置一些矩形圖塊,這些圖塊的大小不同,但每個圖塊的每一條邊都位於網格線上,並且每個單位正方形最多被一個圖塊覆蓋。
網格的每一行和每一列都恰好有一個未被任何瓷磚覆蓋的單位正方形,求出 Matilda 需要放置的最少瓷磚數量。
雖然投入海量算力最終僅得到一句“我無法回答”令人有些失望,但 Alex Wei 表示:
能看到模型避免產生幻覺是很好的。
Noam Brown 也對模型的這一轉變表示讚賞,“如果它不知道,它就會承認它不知道。”
這代表模型開始具備“自我意識”。
這種“自我意識”可以幫助模型在面對困難問題時,承認自己的無能爲力,而不是生成一個看似合理實則錯誤的解決方案。
有趣的是,在 Alex Wei 2024 年剛加入 OpenAI 一週時,Noam Brown 就曾問過他,團隊何時能獲得 IMO 金牌。
當時 Alex Wei 認爲 2025 年不太可能實現。
但令人驚歎的是,這個三人團隊僅用了兩月,就完成了他們一直在追求的目標 ——IMO 金牌。
Noam Brown 還表示:
OpenAI 有一個很棒的地方,就是研究人員有很大的自主權去做他們認爲有影響力的研究。
Alex 還強調,他們的團隊“真正優先考慮通用技術”,而不是專門開發用於數學競賽的系統。
OpenAI IMO 金牌核心團隊
OpenAI IMO 核心團隊僅由三名研究人員構成。
Alex Wei,本碩均就讀於哈佛大學,隨後在加州大學伯克利分校獲得計算機科學博士學位。
Alex 還曾在谷歌、微軟和 Meta 實習,後於 2024 年 1 月加入 OpenAI,現任研究科學家。他曾是 FAIR 團隊成員,參與開發了首個用於外交遊戲的人類級人工智能 ——CICERO。
Sheryl Hsu,畢業於斯坦福大學計算機科學專業,是斯坦福 AI 實驗室中 IRIS 實驗室的研究員,於 2025 年 3 月加入 OpenAI。
Noam Brown,本科就讀於美國羅格斯新澤西州立大學新布朗斯維克分校,隨後在卡內基・梅隆大學獲碩士和博士學位。他曾任職於 DeepMind 和 Meta,於 2023 年 6 月加入 OpenAI。
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。