梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

很疯狂，Meta AI裁员能裁到田渊栋头上，而且是整组整组的裁。

田渊栋在Meta工作已超过十年，现任FAIR研究科学家总监（Research Scientist Director），他领导开发了早于AlphaGo的围棋AI“Dark Forest”，近期在大模型领域也推出了整合快慢思考的Dualformer模型、以及开创性的“连续思维链”（Coconut）范式。

这样一位大佬突然面临找工作了，OpenAI以及各路初创公司反应都很快，直接开始在评论区排队抢人。

看来这次由新任首席AI官亚历山大王主刀的Meta AI大裁员，不只是明面上精简组织那么简单，

田渊栋其人

田渊栋拥有上海交通大学计算机系的本科和硕士学位，随后在卡内基梅隆大学（CMU）机器人研究所获得博士学位。

他的职业生涯始谷歌无人驾驶汽车项目组担任软件工程师。

约在2014年，田渊栋加入Facebook（现Meta）的人工智能研究院（FAIR），至今已近十年。

在DeepMind的AlphaGo震惊世界之前，田渊栋团队已在围棋AI领域取得重要进展。

2015年，田渊栋主导发布了围棋AI“Dark Forest”，达到了顶尖业余棋手的水平。在AlphaGo之后，田渊栋团队基于AlphaGo Zero和AlphaZero的算法，完成了开源复现项目ELF OpenGo，仅靠单GPU就能战胜世界顶级的人类选手。

2017年起，田渊栋的研究重心转向AI的可解释性与基础原理

2019年，OpenAI联合创始人Ilya Sutskever曾邀请田渊栋加入，共同研发语言模型，田渊栋因希望专注于“理解神经网络模型的工作原理”而拒绝了邀请。

语言模型爆发后，Transformer成为AI研究最重要的工具，田渊栋还是坚持他认为更根本的的研究道路，不是简单训练发布模型，而是致力于提高LLM在复杂推理和规划任务上的能力。

下半年开始，他在AIR负责领导一个专注于规划和推理方向的团队，团队规模约为10人，展开了一系列研究。

内存高效的训练方法GaLore: 将预训练7B模型所需的内存压缩至24GB以内，使得在单张消费级显卡（如RTX 4090）上进行预训练成为可能

快慢思考整合Dualformer：通过在训练中随机移除推理链的部分步骤，使模型能够动态切换“快思考”（对简单问题直接给出答案）和“慢思考”（对复杂问题展开深入推理）

Coconut连续思维链：不再依赖离散的自然语言思维链，而是将推理轨迹压缩并保留在连续的隐空间中。

理论探索CoGO：揭示了由梯度下降获得的神经网络解与代数结构之间存在关联，增加了对神经网络表示能力的理解。

就在刚刚过去的9月，他还发表了一篇独作论文，揭示了揭示了关键超参数对“顿悟”（Grokking）中扮演的角色，从梯度动力学的第一性原理揭示了为什么像 Muon 这样的最新优化器可以有效的根本原因。

……

One More Thing

除了科研，田渊栋也是一位科幻小说家，第一部长篇小说作品《破晓之钟》于2024年出版。

在他的2024年个人年终总结里，还透露接下来的第二部长篇小说会尝试使用AI辅助写作。

他在职场遭遇的疯狂经历，能化作创作的灵感也说不定。