OpenAI兩大90後“臺柱子”,談模型進展、挑戰與AGI目標

智東西
08/02

編譯 | 程茜

編輯 | 心緣

智東西8月2日消息,昨日凌晨,麻省理工科技評論放出了與OpenAI首席研究官陳信翰(Mark Chen)和首席科學家雅庫布·帕喬基(Jakub Pachocki)的獨家專訪。

這兩位技術大牛都是90後,陳信翰是OpenAI圖像生成模型DALL·E、GPT-4多模態能力、Codex背後的關鍵推手,帕喬基是ChatGPT、GPT-4等模型的核心貢獻者之一,同時也是OpenAI o1、o3等推理模型的主要架構師。

在OpenAI於倫敦設立的首個國際辦事處內,陳信翰和帕喬基接受了專訪,回應了最近陷入爭議的OpenAI IMO奪金事件,稱人們低估了其模型在另一項編程競賽AtCoder奪得第二名,刷新人類最好成績的價值,並透露OpenAI產品周活躍用戶超過4億人

對當下模型發展,他們認爲推理模型發展仍處於初始階段;並且面對開發式研究和發佈產品的平衡,OpenAI堅持讓更多人意識到技術發展的水平是必要條件。此外,實現AGI的進程中,他們提到計算機能夠自主開發新技術、讓模型能夠更長時間地自主工作至關重要。

隨後OpenAI聯合創始人兼CEO薩姆·阿爾特曼(Sam Altman)在社交平臺X上轉發了這篇專訪文章,並評價說“這篇文章真正抓住了陳信翰和帕喬基合作的精神”。

也有網友在評論區做了表情包“提醒”阿爾特曼,警惕被扎克伯格挖人。值得一提的是,此前,據《華爾街日報》報道,Meta創始人兼CEO馬克·扎克伯格(Mark Zuckerberg)就向陳信翰開出了10億美元天價薪酬,但被他拒絕。

一、OpenAI雙雄掌舵,更看重編程競賽成績

兩位研究主管在英國倫敦市中心國王十字車站附近的共享辦公空間會議室中接受了採訪,據瞭解,OpenAI將這裏當作其在倫敦科技街區的臨時住所,並且距離谷歌DeepMind和Meta都不遠。

在OpenAI的具體分工中,陳信翰負責組建和管理研究團隊,帕喬基負責制定研究路線圖並確立OpenAI的長期技術願景。不過陳信翰也提到,他們的角色並不是一成不變的,作爲研究人員,他們可以利用所有的技術線索,只要有可以解決的問題就會去做。

陳信翰出生於中國臺灣,大學就讀於麻省理工學院,曾在微軟實習,畢業後獲得數學和計算機學位。加入OpenAI前曾在美國投資公司簡街資本擔任量化交易員,開發了用於期貨交易的機器學習模型。2018年,他加入OpenAI後,牽頭創建了圖像生成模型DALL·E,隨後致力於爲GPT-4添加圖像識別功能,並領導了爲GitHub Copilot提供支持的編程模型Codex的開發。

帕喬基於2017年加入OpenAI,並於2024年5月接替伊爾亞·蘇茨克維(Ilya Sutskever)擔任OpenAI首席科學家。他是ChatGPT、GPT-4等模型的核心貢獻者之一,同時也是OpenAI o1、o3等推理模型的主要架構師。

採訪前不久,OpenAI的模型剛剛斬獲兩個國際大獎。7月16日,OpenAI的定製模型在全球最硬核的編程競賽之一AtCoder世界巡迴賽總決賽中獲得第二名;7月19日,OpenAI宣佈其內部推理模型在世界最負盛名的數學競賽之一2025年國際數學奧林匹克競賽(IMO)中獲得金牌。

但隨後OpenAI因提前公佈結果,搶佔參賽學生風頭陷入爭議。對此陳信翰和帕喬基談道,他們最興奮的是OpenAI在編程方面的勝利

陳信翰認爲OpenAI取得的這一成績被低估了,在IMO獲得金牌會讓你躋身前20到50名選手之列。但在AtCoder競賽中,OpenAI的模型名列第二,這突破了人類表現的全新高度。

二、保持OpenAI頻繁更新勢頭,要將實驗模型推向大衆

OpenAI如今已經與三年前ChatGPT發佈之際大不相同。

這家估值3000億美元的公司正與全球規模最大、最富有的科技公司展開競爭,其需要將驚豔的研究和演示變成用戶真正需要的產品。

近期,OpenAI的更新迭代速度拉滿。從對GPT-4系列模型進行重大更新,到推出一系列生成式圖像和視頻模型,並引入與ChatGPT語音對話的功能;去年至今,OpenAI已經發布o1、o3兩個推理模型,今年1月,發佈首款可以像人類一樣操作電腦獨立完成任務的AI智能體Operator。OpenAI官方數據顯示,目前每週有超過4億人使用其產品,每天提交25億條指令。

OpenAI新上任的應用首席執行官菲吉·西莫(Fidji Simo)計劃保持這一勢頭,持續推出新產品。她曾在一份備忘錄中告訴員工,她期待幫助OpenAI的技術惠及全球更多人,這些技術將爲更多人帶來比歷史上任何其他技術都多的機會。

談到OpenAI如何平衡開放式研究和產品發佈時,帕喬基稱,在ChatGPT誕生之前,他們就在思考這個問題,如果他們真的認真考慮構建通用人工智能,那麼顯然這項技術可以實現很多目標、探索很多方向,最終成就偉大的產品。換句話說,“持續搖晃果樹,能收穫多少是多少”。

此前,OpenAI團隊提出的一個觀點是,將實驗模型推向世界是研究的必要組成部分,這一做法的目標是讓人們意識到這項技術已經發展得多麼出色。阿爾特曼曾提到,他們希望讓人們瞭解未來,OpenAI渴望將新技術交到人們手中,看看人們會如何利用它。

帕喬基說,現在還是這樣,模型已經達到了傳統基準能夠衡量的能力極限,他們一直在思考的許多長期挑戰也開始顯現,因此現在正處於一個關鍵時刻,真正重要的是模型在現實世界中能做什麼

就像在編程比賽中與人類較量一樣。在今年日本舉辦的AtCoder大賽上,擊敗OpenAI模型的是一位名叫普熱梅斯瓦夫·登比亞克(Przemysław Dębiak)的程序員。這項比賽是一場解謎馬拉松,參賽者必須在10小時內找到解決複雜編程問題的最有效方法。獲勝後,登比亞克在X上發帖稱:“我累壞了……我快要撐不住了。”

值得一提的是,登比亞克與帕喬基曾共同參加過編程比賽,還曾在OpenAI共事。

不過,對於絕大多數用戶而言這些在編程和數學競賽方面的勝利是小衆的。這項旨在模仿並最終取代人類智能的技術,是由那些認爲巔峯智力就是在數學競賽中取得優異成績或與傳奇程序員抗衡的人打造的,這種對智力的看法更偏向數學和分析能力。

陳信翰提到,他們的目的是想創造一些能加速自身發展的模式,這是快速進步的一個條件。

他們認爲,數學和編程是更普遍的智能的基石,這種智能能夠以人類自身可能未曾想到的方式解決各種各樣的問題。帕喬基補充說:“我們這裏討論的是編程和數學,但真正的智能在於創造力,在於提出新穎的想法,以及將來自不同來源的想法聯繫起來。”

以上面提到的兩場比賽爲例,其都存在一些需要突破常規思維的問題。登比亞克花了一半的編程比賽時間進行思考,然後想出了一個非常新穎的解決方案,與模型所研究的任何方案都截然不同。

帕喬基稱:“這正是我們追求的,如何讓模型發現這種新穎的見解、如何真正推進我們的知識,我認爲它們在某些有限的方式上已經具備了這種能力,這項技術有潛力真正加速科學進步。”

三、仍處於推理模型初始階段,Scaling Law不會失效

OpenAI在創立之初,也就是通用人工智能(AGI)還只是個噱頭的時候,就宣稱要打造AGI。如今,OpenAI對AGI依然充滿熱情,並且比大多數公司都更努力地希望將AGI打造成一個價值數十億美元的主流項目。

然而,AGI的目標還未達成,這背後欠缺的是什麼?

帕喬基提到,展望未來的方式是真正深入地研究我們今天所見的技術。從一開始,OpenAI就將深度學習視爲一種非常神祕且顯然非常強大、潛力巨大的技術,同時一直在努力瞭解它的瓶頸,例如它能做什麼?它不能做什麼?

當下OpenAI可能還處於這種推理範式的初始階段,研究人員正在思考如何讓這些模型進行長期學習和探索,並真正帶來全新的想法。

陳信翰補充說,目前最前沿的推理模型,將問題分解成更小、更易於管理的步驟,但即使是推理模型也有侷限性,模型知道很多東西,但卻無法將這些知識串聯起來,不能像人類一樣思考。OpenAI正在竭盡全力回答這個問題。他說:“我不認爲推理問題已經解決了,我們顯然還沒攻克它。你必須研讀海量文本,才能勉強接近人類所掌握的知識範疇。”

OpenAI不會透露它使用什麼數據來訓練其模型,也不會提供有關其模型的詳細信息,只是它正在努力使開發過程的所有階段更加高效。這些努力使他們相信,所謂的Scaling Law不會失效。

“我認爲沒有任何證據表明Scaling Law在任何意義上已經失效,”陳信翰認爲,“因爲瓶頸一直存在,有時與模型構建方式有關。有時與數據有關。但從根本上來說,關鍵在於找到能夠突破當前瓶頸的研究。”

今年5月,帕喬基在接受《自然》期刊採訪時提到,2017年加入OpenAI時,他是公司裏對AGI持懷疑態度最強烈的人之一。”

帕喬基回憶說,他加入OpenAI的時候,就預料到要花更長的時間才能達到現在的水平。在AI帶來的影響中,他最關心的是自動化研究,縱觀人類歷史,很多內容都是關於技術進步、人類創造新技術,因此他認爲計算機能夠自主開發新技術的時刻似乎是一個非常重要的轉折點。

對陳信翰來說,讓模型能夠更長時間地自主工作至關重要。他解釋說:“我確實認爲每個人對通用人工智能都有自己的定義,但自主時間的概念,也就是模型能夠在解決難題時取得有效進展而不陷入死衚衕的時間,纔是我們追求的重大目標之一。

不過他們目前的設想仍然只是大膽的願景,且遠遠超出了當今模型的能力。

四、離職或是私人決定,“對齊”已融入核心業務

2023年7月,蘇茨克維和楊·萊克(Jan Leike)宣佈在OpenAI成立超級對齊團隊,這個團隊將投入OpenAI五分之一的資源,研究如何控制一個假設的超級智能。如今,包括蘇茨克弗和萊克在內的超級對齊團隊的大多數人都已離開OpenAI,超級對齊團隊團隊也不復存在。

萊克從OpenAI辭職時稱,是因爲團隊沒有得到他認爲應得的支持。他在X上發帖稱:“打造比人類更聰明的機器本身就危險。OpenAI代表全人類肩負着巨大的責任。但在過去幾年裏,安全文化和流程已經讓位於光鮮亮麗的產品。” 其他離職研究人員也表達了類似的看法。

對此,陳信翰認爲,很多事情是非常私人的決定,他們可能相信這個領域會以某種方式發展,他們的研究會取得成功、結出碩果。但要知道,公司可能不會按照個人希望的方式重塑。有時候,這個領域的發展方式會與個人的研究方式不太一致。

但陳信翰和帕喬基都一致認爲,如今“對齊”已成爲OpenAI核心業務的一部分,而非某個特定團隊的專屬職責。帕喬基稱,這些模型只有在符合預期的情況下才真正有效。此外,既然讓現有模型與目標對齊已頗具挑戰,人們也就沒什麼動力去專注於讓假想中的超級智能與自身目標對齊了。

“兩年前,我們設想的風險大多隻是理論上的風險,”帕喬基說。“如今的世界已經大不相同,我認爲很多對齊問題現在都具有非常實際的動機。”

結語:OpenAI人才流失,靜待GPT-5發佈扭轉乾坤

OpenAI仍然是當下硅谷的焦點:一方面,OpenAI成爲硅谷搶人大戰重災區,被Meta連挖近10人;另一方面,GPT-5發佈時間數次被推遲,都引發了不少關於這家創企的討論。

在這個關鍵節點,阿爾特曼直接轉發點贊專訪文章,或許是對當下質疑的另一種回應。採訪中陳信翰和帕喬基雖然並沒有直接透露GPT-5的相關信息,但提到不少他們當下的研究重點,如讓推理模型能像人一樣思考,以及OpenAI對將實驗模型推向大衆市場的堅持。

再加上最新的爆料顯示,OpenAI GPT-5模型預計將於8月發佈,將一改此前單一架構的模式,整合o3推理模型及多項內部技術,打造一個能同時處理文本、代碼、圖像與工具調用的統一系統,以此取代現有的o系列與GPT系列並行的格局。

GPT-5若能如期發佈,或許能幫助OpenAI一掃人才大幅流失的陰影。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10