夢晨 發自 凹非寺

量子位 | 公衆號 QbitAI

很瘋狂，Meta AI裁員能裁到田淵棟頭上，而且是整組整組的裁。

田淵棟在Meta工作已超過十年，現任FAIR研究科學家總監（Research Scientist Director），他領導開發了早於AlphaGo的圍棋AI「Dark Forest」，近期在大模型領域也推出了整合快慢思考的Dualformer模型、以及開創性的「連續思維鏈」（Coconut）範式。

這樣一位大佬突然面臨找工作了，OpenAI以及各路初創公司反應都很快，直接開始在評論區排隊搶人。

看來這次由新任首席AI官亞歷山大王主刀的Meta AI大裁員，不只是明面上精簡組織那麼簡單，

田淵棟其人

田淵棟擁有上海交通大學計算機系的本科和碩士學位，隨後在卡內基梅隆大學（CMU）機器人研究所獲得博士學位。

他的職業生涯始谷歌無人駕駛汽車項目組擔任軟件工程師。

約在2014年，田淵棟加入Facebook（現Meta）的人工智能研究院（FAIR），至今已近十年。

在DeepMind的AlphaGo震驚世界之前，田淵棟團隊已在圍棋AI領域取得重要進展。

2015年，田淵棟主導發布了圍棋AI「Dark Forest」，達到了頂尖業餘棋手的水平。在AlphaGo之後，田淵棟團隊基於AlphaGo Zero和AlphaZero的算法，完成了開源復現項目ELF OpenGo，僅靠單GPU就能戰勝世界頂級的人類選手。

2017年起，田淵棟的研究重心轉向AI的可解釋性與基礎原理

2019年，OpenAI聯合創始人Ilya Sutskever曾邀請田淵棟加入，共同研發語言模型，田淵棟因希望專注於「理解神經網絡模型的工作原理」而拒絕了邀請。

語言模型爆發後，Transformer成為AI研究最重要的工具，田淵棟還是堅持他認為更根本的的研究道路，不是簡單訓練發布模型，而是致力於提高LLM在複雜推理和規劃任務上的能力。

下半年開始，他在AIR負責領導一個專注於規劃和推理方向的團隊，團隊規模約為10人，展開了一系列研究。

內存高效的訓練方法GaLore: 將預訓練7B模型所需的內存壓縮至24GB以內，使得在單張消費級顯卡（如RTX 4090）上進行預訓練成為可能

快慢思考整合Dualformer：通過在訓練中隨機移除推理鏈的部分步驟，使模型能夠動態切換「快思考」（對簡單問題直接給出答案）和「慢思考」（對複雜問題展開深入推理）

Coconut連續思維鏈：不再依賴離散的自然語言思維鏈，而是將推理軌跡壓縮並保留在連續的隱空間中。

理論探索CoGO：揭示了由梯度下降獲得的神經網絡解與代數結構之間存在關聯，增加了對神經網絡表示能力的理解。

就在啱啱過去的9月，他還發表了一篇獨作論文，揭示了揭示了關鍵超參數對「頓悟」（Grokking）中扮演的角色，從梯度動力學的第一性原理揭示了為什麼像 Muon 這樣的最新優化器可以有效的根本原因。

……

One More Thing

除了科研，田淵棟也是一位科幻小說家，第一部長篇小說作品《破曉之鐘》於2024年出版。

在他的2024年個人年終總結裏，還透露接下來的第二部長篇小說會嘗試使用AI輔助寫作。

他在職場遭遇的瘋狂經歷，能化作創作的靈感也說不定。