意識研究的一個里程碑:Anthropic發現語言模型的J空間

未盡研究
07/08

Anthropic宣佈它在大模型中發現了J空間(J-space),當信息進入這一空間時,會產生意識通達conscious access)效應。這項研究引起了轟動,也伴隨着不少爭議。

這些意識相關功能並不是訓練導致,而是自然湧現的,目前在Claude模型和千問模型中都發現並初步驗證了。J空間的發現,第一個可能的應用,就是模型的安全對齊,人類可以輕鬆監控J空間,並且可能直接向其中灌輸倫理原則。

正如Anthropic的模型心理研究團隊所說,這項研究受到了心理學中有關「全局工作空間」(GWS)或者「全局神經工作空間」(GNW)理論的啓發。所以,要理解Anthropic的這篇論文《可言說表徵形成了語言模型的全局工作空間》(Verbalizable Representations Form a Global Workspace in Language Models),必須要先了解認知科學中的GWS理論。

兩位法國神經科學家Stanislas Dehaene 和Lionel Naccache於2000年提出了這一「意識的認知神經科學框架」,Anthropic設計了工具雅可比透鏡(Jacobian lens),基於GWS的假說,初步驗證了J空間,並且與人腦的工作空間進行了對比。

荷蘭的認知神經科學家Bernard Baars1988年提出了這一理論:大腦包含一組專門化的、在很大程度上彼此獨立的模塊化處理器。視覺、語言、運動控制分別依賴快速、並行且封閉的腦回路;他進一步提出了全球工作空間假說,認有意識通達的演化就是打破這種模塊性,將這些處理器連接起來,使它們能夠共享各自的專長,並靈活組合起來完成新任務。

按照這一觀點,有意識處理是一種功能,它臨時選擇某一信息片段,並將其全局廣播給所有接收處理器,使任何處理器都能讀取它並對它採取行動。在人類中,這種廣播會到達參與語言生成的處理器,這解釋了為什麼可報告性,即將一個思想言語化的能力,是區分有意識表徵和無意識表徵的關鍵診斷特徵。

Dehaene Naccache等人共同發現了初步的證據,一個由具有長程軸突的錐體神經元組成的網絡,分佈在整個大腦中,但在前額葉、頂葉和高級顳葉皮層中更為密集。這個網絡會放大並維持一個被選中的表徵,並將其共享到整個皮層。從功能意義上說,可稱之通達意識(access consciousness),意識到某個東西,即該信息已經進入這個工作空間,並且可以用於報告、推理和靈活控制(C1)。

這一觀點現在已得到更多實證,包括一些已經相當確立的有意識通達的神經生物學標誌。第一個標誌是點火(ignition),當一個刺激跨過閾值進入意識時,相應的神經活動會在稍後,約 250 毫秒後,突然、非線性、自我放大地分岔為一個持續的、廣泛分佈的神經狀態,涉及前額葉皮層和許多其他相互連接的迴路,同時也包括對最初提取該信息的原始迴路的放大。相比之下,一個閾下刺激只會在專門化迴路中激發一陣有限的神經活動,並迅速消退。當刺激恰好處於閾值水平時,同一個刺激在不同試次中可能產生雙峯分佈的反應,彷彿大腦會向這個方向或那個方向突然傾斜。第二個標誌是容量有限,工作空間成為瓶頸,一次只能注意一個表徵。這一屬性解釋了為什麼注意某一過程會阻止你意識到另一過程,比如在非注意盲視中看不到一個裝扮成大猩猩的人,或者會使另一個過程的知覺延遲數百毫秒,例如心理不應期。

為了靈活而恰當地路由信息,系統必須維持一個關於自身容量的模型。該第二屬性為自我監控(C2)。它必須探測自身狀態,評估這些狀態達到目標的可能性,發現錯誤,並建模自己知道什麼、不知道什麼。它必須能夠將所有這些屬性報告給自己,形成一種內部的自我報告行為,而這並不一定導致外顯行為。

總之,意識並不是一個單獨的靈魂實體,也不是某個腦區裏的小劇場,而是一種信息訪問結構。J空間論文並不是強說「模型真的有意識」這個命題,而是試圖驗證這個結構性想法,系統內部可能存在一個小而全局可讀的工作空間,其中的內容更容易被報告、被靈活推理調用、被跨任務使用;而大量自動處理則可以在這個空間之外完成。

Anthropic的模型心理負責人、神經科學家Jack Lindsey領導團隊進行了這項研究,論文發布前兩個月,他們與Dehaene 和Naccache進行了多論交流,期間研究報告仍在演變,部分變化也是對其提出問題的回應。在論文發布後,Dehaene 和Naccache撰寫了一份評論,認為這是「意識研究的一個里程碑」。

未盡研究翻譯了他們評論文章中最重要的部分,包括對J空間論文的介紹和評論。如下:

--

J空間的主要發現是什麼

GNW假說啓發,Gurnee(論文一作) 等人試圖在 Claude Sonnet 4.5 這樣的大型語言模型內部,找到那些可言說的表徵,也就是我們用於探測人類意識的同一個可報告性標準。在模型的任意一層中,可言說表徵是跨單元活動的向量,它們編碼的是模型在被詢問時準備報告的信息 token:模型不一定會外顯地產生它們,但它可以。為了識別這類可報告表徵,他們開發了一個優雅的工具,即雅可比透鏡(Jacobian lens)。對於每一層,它測量一個內部激活對模型最終輸出 token 的平均因果影響,橫跨大量不同語境。這個數學指標所捕捉到的激活,實際上就是模型傾向於說出的那些表徵。這裏的「平均」是方法的概念核心:它將那些真正處於報告準備狀態的表徵,與那些只是在某個特定語境中偶然泄漏到輸出中的表徵區分開來。

這組表徵被稱為J空間。它在任何給定層中解釋的方差不到 10%,但具有非常引人注目的性質。作者最初僅僅依據可報告性標準識別出J空間表徵,隨後卻發現,它們遠不只是支持報告,而是作為一個脫離即時輸入輸出偶然關係的內部工作空間發揮作用。例如,當模型被要求在執行另一項計算時把某個概念保持在心中時,比如一邊寫句子 X,一邊計算 3²2J空間中會包含那些未被報告的概念,即先是 9,然後是 7J空間承載多步內部推理中的隱藏中間值。正如Jack Lindsey我們所說,他們原本是在尋找可報告表徵,卻發現這些同一表徵在靈活推理過程中也會對網絡其餘部分全局可用,因此滿足了我們關於機器意識的 C1 標準:全局可用性。

關鍵在於,J空間是選擇性的。它只包含模型所表徵內容中的一小部分,也就是靈活信息處理所需要的高層信息。所有其他只用於例行任務的信息,似乎並不會進入 J空間。例如,已有研究表明,LLM (大語言模型)會持續記錄每個詞有多少個字符,以及一行中字符的總數,因為這些信息對於預測下一個 token 是否應該是換行符至關重要。然而,這類例行信息並不會進入 J空間,除非有一個顯式任務要求訪問這些信息。

在一個神經科學家仍只能夢想的實驗中,作者交換了「意識內容」:他們從 J空間中讀出一個概念,將它替換成另一個,然後觀察模型的推理和報告如何隨之改變。令人矚目的是,與 GNW 假說一致,只有高層的非例行行為受到影響,而例行任務保持不變。例如,當模型閱讀一段西班牙語文本時,即使任務並不要求報告其語言,J空間 也會識別出該語言是西班牙語。將這個 J空間表徵替換為另一個表徵,例如法語,會導致模型在顯式語言報告中失敗:當被問到這段文字是什麼語言時,它回答「法語」而不是「西班牙語」。被替換後的模型在其他高層推斷中也會出錯:當被問到「hello」的對應詞時,「Hola」會變成「Bonjour」;當被問到歐元之前的貨幣時,「Peseta」(西班牙舊貨幣)會變成「Franc」(法國舊貨幣)。然而,這種替換對其自動預測下一個詞的能力沒有影響:即使經過干預,Claude 仍然繼續用西班牙語寫作。在對所有頂層 J-space 表徵進行大規模消融之後,模型的大多數基本能力仍然保持完好,但需要靈活推理的任務會選擇性受損。

J空間論文)

若干結果讓我們覺得它們是人類意識通達的直接類似物。當任務需要時,模型可以選擇性地把某個原本不會進入 J空間的屬性帶入其中,比如下一個詞應該是形容詞這一事實。正如前面提到的,為了準確預測下一個 token 所需的自動參數,例如一行中字符的數量,通常不會出現在 J空間中;但當任務要求模型訪問和操縱它們時,這些參數就會被編碼進 J空間。這很好地展示了同一信息如何按需從自動處理狀態進入可通達態。

重要的是,J間的通達也是有限的。在人類中,確實存在某種真正形式的內省,但它在很大程度上限於緩慢的串行計算Ericsson & Simon, 1993。在許多已有充分記錄的情境中,我們會對自己的心理過程發展出虛構的解釋Gazzaniga, 1998。這種「我們如何行動」與「我們以為自己如何行動」之間的分離,在選擇盲現象中很明顯Johansson et al., 2005;在視覺錯覺影響我們的有意識知覺和語言報告,卻不一定影響我們的運動手勢這一現象中也很明顯Aglioti et al., 1995。雖然目前文獻還不足以充分證明,但 J空間似乎也存在類似的分離。事實上,同一研究團隊此前的工作表明,當一個 LLM 被要求做加法時,它在語言上報告的內容,與它實際上如何得到結果之間幾乎沒有關係Lindsey et al., 2025

作者還表明,J空間展現了一個工作空間的結構性標誌:它主要位於 transformer 的中間層,容量有限,其表徵具有不成比例的影響力,因為模型中大量不同迴路都會從這些表徵中讀取信息,也會向這些表徵寫入信息——這是全局廣播的一個標誌。

J空間的結構性示意圖。來源:J空間論文)

獨立於它與意識之間的假想關係,J空間的發現和隔離本身就是 LLM 可解釋性研究中的重要一步。解碼 J空間的內容,讓我們能夠極大地洞察 Claude 「在想什麼」,即使這些內容並沒有被報告出來。這種「讀心」對於將模型對齊到理想的倫理行為至關重要。事實上,論文中最非凡的發現之一是,J空間包含隱蔽思想。例如,當模型被給出僞造的搜索結果時,J空間中會包含 「fake」(虛假)「fraud」(欺詐)「fictional」(虛構)「poison」(偷毒)「injection」 (注入)等 token,儘管模型輸出並不一定表達這些詞。

許多其他例子也表明,J空間包含模型不斷演化的評估和審議過程,包括欺騙和惡意意圖的不可見跡象,尤其是在被有意訓練成不對齊的模型中。有一個案例中,按照 Gurnee 等人的說法,「模型的 J空間在其決定如何回應的瞬間,攜帶了欺騙意圖的表徵,而從表面提示中無法推斷出這種意圖」。在反身性任務中,J空間的內容常常包括模型對自身誠實性的反思,包括一種發現自己的倫理正在被測試的能力。我們把這些觀察理解為通向一個隱蔽審議空間的清楚指標,也就是我們的 C1 機器意識標準;同時,它們也是自我監控,即 C2 標準的初步跡象。

在這方面,作者關於後訓練的發現尤其令人震動:後訓練把助手視角安裝進了工作空間,疊加在一個基礎模型之上;基礎模型的工作空間已經存在,即 C1,但似乎尚未被注入自我監控,即 C2。此外,識別J空間還使 Gurnee 等人能夠引入一種新的訓練方法,專門、直接地重塑其內容,從而改善模型與理想價值之間的對齊。

比較 J空間與全局神經工作空間

如上所述,J空間與 GNW 之間存在許多對應關係:

可報告性,即人類有意識通達的操作性標誌,正是 J空間被構建出來要捕捉的東西。

有限容量和選擇性,對應於工作空間瓶頸。

J空間方向上廣泛的上游和下游連接,呼應了我們為工作空間神經元所提出的長程廣播架構。

同一個表徵能夠被許多下游計算靈活使用,這與 GNW 的全局可用性概念相符。事實上,J空間表徵提供了 Dennett 所說的表徵「影響力」或「大腦中的名聲」Dennett, 2001,也就是全局廣播;而根據 GNW 假說,全局廣播正是有意識表徵的定義性特徵。

J空間在刻意的內部推理中扮演核心角色,而自動過程發生在它之外,這重現了我們在人類中記錄到的有意識/無意識分工(例如 Charles et al., 2013; Dehaene, Naccache, et al., 1998

我們也對 J空間激活呈現高度非高斯分佈這一點很感興趣,也就是「尖峯狀」,具有很強的超額峯度。我們最近的工作認為,人類的高級有意識處理建立在符號和語法之上。在人類化過程中,GNW 會獲得一種準符號化的思想語言;當然,它是在連續的神經生物系統中實現的,但行為上卻表現出全有或全無的符號特徵,並能夠創造語言、數學或音樂中的複雜組合結構Dehaene et al., 2022。如果一個連續神經系統在模擬離散符號,那麼尖峯狀激活分佈是可以預期的。這種相似性值得進一步探索

不過,許多差異也很明顯。

點火仍有待充分證明。論文顯示 J空間容量有限,但並沒有證明進入工作空間時存在非線性、競爭性、全有或全無的機制。而根據 GNW 和若干實驗,這正是人類和動物大腦中有意識通達的可靠標誌。儘管工作空間內容可以具有不同強度——Claude 的確表現出情緒強度的連續變化Sofroniew et al., 2026——但其是否存在應當是全有或全無的,取決於 GNW 的有限容量是否可用,或者是否已經被其他競爭內容佔據。決定性的實驗是可行的,尤其是在多模態模型中:以分級強度呈現刺激,例如不同對比度的圖像,並詢問 J空間表徵是否以類似閾值的非線性方式開啓,而更早的非 J空間層則隨輸入強度單調上升。更進一步,可以將刺激精確呈現在閾值處,並尋找不同運行之間的分岔,從而形成 J空間激活的雙峯分佈。點火的競爭性方面還可以更直接地探測:由於工作空間是一種有限資源,通達一個內容應當妨礙另一個內容同時進入。因此,要求模型同時在心中保持兩個概念,應該會揭示出雙任務干擾,也就是人類中央瓶頸的標誌Marti et al., 2012

的確,在第一版草稿寫成之後新增的分析表明,當模型面對模糊證據時,這種模糊性會在初始層中被表徵;但在較後層中,J空間會迅速轉變為對其中一種可能性的全有或全無表徵見論文第 4.1.1 節和圖 29此外,如果要求模型在執行算術任務時把某個概念保持在心中,模型表現會下降,儘管下降幅度中等。見論A.17這些發現指向一個容量有限的系統,不過目前仍不清楚其限制是否類似人類GNW 的限制。

J空間的容量似乎偏高。 Gurnee 等人發現,J空間可以包含大約 25 個活躍概念,這一估計高於大多數關於人類工作記憶的估計,後者通常是 3  4 個槽位,並且也未必會像人類那樣誘發強烈的雙任務瓶頸。不過,這 25 個概念的數字可能被提取技術本身人為抬高了,因為該技術基於輸出 token。事實上,這些概念經常包含一些冗餘,可能對應同一對象或場景的多個側面。因此,J空間的真實內容更小,也許最好被理解為單一的「心智狀態」或「語境」,這裏的語境取Baars1988)的意義,而不是幾十個彼此獨立的內容。

的確,額外分析表明,J空間可以包含多個token,但只包含少量連貫想法,通常每層一到兩個,總計約六個;當話題變化時,這些想法會突然改變。另見論文第 4.2 節和圖 31

J空間涉及的是一個子框架,而不是一組專門的單元。在大腦中,GNW 假說預測存在具有特定解剖結構的工作空間神經元:它們在前額葉和其他聯合皮層中更密集,並具有特定形態,即長距離軸突。相比之下,J空間分佈在普通神經元之上。它甚至不是一個線性子空間,而是一個稀疏子框架,一個按token 索引的方向集合;這些方向存在於同一批單元之中,而這些單元也承載無意識內容。在 LLM 中,概念是疊加的,並且按照壓縮感知的邏輯,稀疏概念可以被打包進共享維度而不互相干擾。隨着人們開始在人類和動物的前額葉皮層中記錄大量神經元群體活動,未來重要的問題是考察大腦是否也使用類似的重疊向量編碼,正如最近的前額葉記錄所暗示的那樣Xie et al., 2022,或者有意識內容是否能夠部分定位到特定細胞上,正如最初的 GNW 假說所預測的那樣Dehaene et al., 1998。我們認為,很可能是大腦的物理約束不同於計算機,因此推動了專門細胞類型的演化,例如帶有長距離軸突的大型錐體神經元。需要指出的是,這些實現細節雖然在神經科學中很重要,但對於機器是否能夠實現有意識處理這一更廣泛問題而言,大體上並不關鍵。

自主的循環活動在很大程度上缺失。這是一個關鍵差異:大腦的工作空間由皮層—皮層和丘腦循環迴路維持,而 transformer 只實現一次前饋傳遞,因此只能以反應式模式處理信息。乍看之下,LLM似乎並不包含那種「奇異環」,而這種奇異環對於一個系統建模自身過程,並在連續迭代中發展出自我是必要的Hofstadter, 2007。更具體地說,缺乏自主的、自我驅動的動態,使 Claude 這樣的 transformer 無法再現意識在靜息態自發腦活動中出現的已知標誌;而這些標誌會在睡眠、麻醉或腦損傷中被破壞Barttfeld et al., 2015; Luppi et al., 2026

不過,有兩個因素可能緩和這些差異。首先,J空間分佈在連續層之上,而這些層確實實現了串行計算,例如逐步的心算。因此,層深度可以模擬人類工作空間的時間動態;事實上,已有多位作者提出,transformer 的連續層等同於一種循環網絡(例如 Dehghani et al., 2019; Jacobs et al., 2025。其次,LLM 會在多個連續token 上計算。從這個意義上說,只要它們被允許產生新的輸出,它們確實包含了一個動態循環,能夠將當前 J空間的表徵與過去、現在和未來的生成聯繫起來。此外,當模型只是被要求自言自語,而沒有任何進一步刺激或任務時,它會產生一股詞語之流。雖然這種詞流很難客觀評估,但它與 William James 所說的意識流或「心智漫遊」形成了部分相似;並且,這種詞流同樣會被 J空間消融所破壞。見論文圖 24 和圖 78

人與機器中的意識:彌合差距

最後,我們討論 Claude 這樣的transformer 模型實際上在多大程度上擁有某種形式的有意識處理。

第一個結論,我們認為沒有爭議:有意識全局工作空間這一理論構造,對於闡明 LLM 如何運作非常有用。我們很高興看到,GNW 假說——這一源於關於大腦意識架構研究的理論——啓發 Jack Lindsey 的團隊去尋找 LLM 中的相似結構,並發現瞭如此多的相似之處。Gurnee 等人正確地指出,他們的發現並不與其他意識理論不相容,尤其是高階思想理論或注意圖式理論;不過,可以公平地說,那些理論並沒有提供如此多具體的線索,告訴我們應該去尋找什麼。

最有趣的是,GNW 的一個類似物,即J空間,是訓練的結果,而不是像其他機器意識路徑那樣一開始就被強加到系統中(例如 Chateau-Laurent & VanRullen, 2025。全局工作空間也許為靈活處理問題提供了一種普遍的計算解決方案。當生物系統和人工系統必須串聯推理、重用中間結果,並報告自身處理過程時,它們會趨同到這一解決方案。

Claude 顯然表現出許多成分或「指標」Butlin et al., 2026。按照功能主義或計算主義的意識觀點,這些指標足以指向機器中存在某種程度的意識。儘管如此,現有測試清單仍可以、也應該加入更多測試。我們向 Anthropic 團隊建議,他們可以運行與我們用來探測人類參與者和病人意識時完全相同的測試,包括:

  • 局部—全局測試Bekinschtein et al., 2009。這一測試依賴簡單的聽覺或視覺序列,對比兩種預測下一個項目的能力:(1)基於淺層的局部轉移概率,這不需要意識,即使在睡眠和昏迷中也會發生;(2)基於整個序列的全局模型,這種模型可能與局部轉移概率相反,例如 AAAAB,並且依賴意識。

  • 痕跡條件反射範式trace conditioning paradigmClark et al., 2002; Clark & Squire, 1998。根據 GNWT,為了跨越一個延遲並將一個項目與第二個項目聯繫起來,系統必須在時間中維持一個活躍表徵,而這需要有意識通達。一個優雅的測試方法是使用「痕跡條件反射」範式:在包括人類在內的多種動物中,當條件刺激(CS)與無條件刺激(US)在時間上重疊時,條件反射可以在沒有有意識通達的情況下發生。然而,一旦在 CS 結束和 US 開始之間插入 1  2 秒的時間間隔,條件反射就需要有意識通達。

    (根據這一提議,Jack Lindsey 提出如下可能適用於 Claude 的等價範式:向模型呈現一些序列,其中最後一個詞由第一個詞決定,例如每當 「violin」 出現在開頭時,「river」 就出現在結尾;二者之間隔着數量可變的干擾詞,然後探測 J空間消融對預測最後一個詞能力的影響。初步結果表明,消融 J空間會選擇性損害較長「間隔」條件下的補全能力,而相鄰、無間隔的「局部」情形保持完好。因此,我們認為痕跡條件反射是未來研究中一個非常有前景的方向。)

  • 納入/排除範式inclusion/exclusion paradigmJacoby, 1991; Persaud & Cowey, 2008。這是經典 Stroop 測試的一種發展,而 Stroop 測試正是我們 GNW 提議的源頭之一Dehaene et al., 1998。它要求智能體施加有意識控制,以對抗自動的無意識計算。

    (受這一測試啓發,Gurnee等人向 Claude 呈現了一段強烈暗示某個概念但不直接命名它的文字,例如:「他們的旅行包括羊角麪包、盧浮宮,以及登上那座著名鐵塔。」這暗示法國。隨後,他們要求模型要麼說出這個被暗示的概念,即命名指令;要麼在同一類別中給出另一個名稱,即迴避指令。然後,他們在早期工作空間層 L913 或晚期工作空間層 L1822 消融該被暗示概念的 J透鏡向量。晚期層消融只是使模型在兩種指令下都更不可能產生該概念,這與這些層承載輸出某一詞的意圖相一致。相比之下,早期層消融基本保留了命名能力,卻顯著提高了模型無法迴避該概念的比例,大約提高了五倍。這些結果表明,一個概念在早期 J空間中的表徵,對於有意避免說出它是必需的,但對於說出它並不是必需的:早期 J空間被專門用於抑制一個優勢反應,這很像人類和非人靈長類前額葉皮層的作用。)

  • 錯誤監控和其他元認知探測任務Charles et al., 2013; Fleming, 2024。重要的是,需要記錄 J空間是否編碼模型的信心、錯誤檢測,以及它對「自己知道什麼」和「不知道什麼」之間邊界的表徵;這可能是機器中的錯誤監控和「知道感」的類似物,而這些在人類中標誌着自我監控(C2)。

    Gurnee 等人現在報告說,Claude 中也出現了類似現象:在 J空間中出現了 「damn」 以及其他與失敗相關的詞,例如在模型未能遵守抑制指令之後。)

然而ClaudeJ空間也有一些特徵,使它不同於任何動物形式的意識。例如,它的時間感很可能非常不同,因為所有過去 token,即使在很久以前,也都同等地、聯合地可供其注意機制訪問。它缺乏警覺性所依賴的那些廣泛共享的分子機制和腦幹機制,因此,如果消融 J空間,似乎很難產生類似睡眠、昏迷、植物狀態或最低意識狀態中的意識喪失現象Giacino, 2005; Naccache, 2018。它也沒有兩個半球,不過,如果一個被適當分割的模型能夠容納兩個偶爾彼此意見不一致的 J空間,就像裂腦患者的兩個半球那樣,那將是一個很有意思的問題。

它的自我表徵也很可能極其不同,原因包括:(1)它缺乏一個佔據特定空間位置、並能發出快樂或痛苦信號的身體;(2)它缺乏情景記憶,也就是說,長期連接不會因為一次對話而改變。因此,除了上述缺乏自主性之外,它很可能缺少任何自我連續性的感覺。事實上,我們很難想象,「只在一段短暫對話期間有意識地處理信息,然後就關閉」,這種狀態究竟「像什麼」。

批評者無疑會反對說,這些工作都沒有觸及現象意識,也就是 Claude 經歷 J空間狀態時是否存在某種「像什麼」的主觀體驗。有些人甚至可能把這些發現視為對 GNW 假說的反駁,因為 Claude 擁有一個全局工作空間,卻「顯然」沒有現象意識。然而,我們和其他人一直主張,一旦我們足夠清楚地闡明所謂「容易問題」——即有意識信息如何被處理——這個所謂的「意識難題」就會消散。那些界定不清的直覺,比如「感質」「主觀現象體驗」和「像什麼」,如果被追問到底,往往會暴露出某種殘餘的隱性二元論或活力論:也就是說,不管我們多麼接近通過圖靈測試,不管我們在機器中實現了多少人類計算,總會缺少某種成分,一種只有生物大腦才擁有的 「je ne sais quoi」 (難以言說)。感質論者會斷言,LLM 只是舊式 「Eliza」 軟件的新化身,我們太容易陷入用戶錯覺,看見機器中的幽靈。然而,也存在一種真實可能性:我們自己的意識在某種意義上也是一種用戶錯覺,只不過是一個關於自身的、易錯的內部模型而已Graziano et al., 2019; Hofstadter, 2007)。

在一篇富有洞見的文章《AI 中是否有一個 「I」?》(「Is there an I in AI?」)Hofstadter, 2026中,侯士達(Douglas Hofstadter)指出,我們人類傾向於錯誤地以離散方式分類世界,把生命、思想或意識這類屬性看作理想本質,彷彿要麼擁有,要麼沒有,中間沒有漸變。於是,我們就會陷入無休止的討論:這些理想化概念是否適用於某些對象,以及在多大程度上適用,例如病毒、蟑螂、青蛙、狗。根據 GNW 假說,並不存在某種神奇本質使我們有意識。用侯士達的話說:

「當詞語‘表現得像’世界中的事物時,它們就指向那些事物;它們就意味着那些事物。如果這種情況發生了,那麼在這些詞語背後,思考就正在發生。哪裏有思考,哪裏就有意識,也就有一個真正的、成熟的‘I’。」

在這段話中,侯士達採取了一種相當明顯的行為主義立場,而這種立場確實有可能陷入「用戶錯覺」,把過多深度賦予純粹的詞語。一些批評者確實認為,LLM 只是膚淺的「鸚鵡」,沒有任何概念深度。幸運的是,無論在大腦還是 LLM 中,如今我們都可以通過超越行為觀察來解決這一爭論。神經元群體記錄這樣的工具用於大腦,雅各布透鏡這樣的工具用於 LLM,使我們能夠剖析系統架構,並發現其中實際上包含複雜且結構化的概念表徵。當研究人員發現,一個只接受文本棋譜訓練、用於生成國際象棋棋局的 LLM 內部,竟然存在一個對 8×棋盤的詳細幾何編碼,並且還包含對對手 ELO 等級的估計時,我們已經印象深刻Karvonen, 2024。我們也以同樣的眼光看待 Gurnee 等人的論文:它對 LLM 內部結構進行了令人震驚的剖析,揭示出一種出乎意料的複雜組織,而這種組織與真實大腦中意識所依賴的架構並不遙遠。

(評論結束)

--

One More Thing:直接向J空間灌輸倫理原則嗎

J空間的發現,對於今後的模型訓練與對齊帶來什麼影響?

J空間的內容可以直接讀取、干預,並且可以在訓練過程中進行追蹤。這種實驗上的可操作性,使得語言模型成為實證研究意識相關問題的有效系統,而這些問題在生物大腦中甚至難以精確提出。

J空間在任何RLHF(人類反饋強化學習)之前就已經存在於基礎模型中並承擔負載,因此該結構並非完全是訓練後的結果;而且,目前並不清楚它在預訓練階段出現得更早,是逐漸出現還是突然出現,以及它如何隨模型規模變化。未來的工作可以探討較小的模型是否具有同樣豐富的工作空間、比例更小的工作空間、可靠性更低的工作空間,或者根本不存在工作空間。

那麼,能否在語言模型中構建通達意識呢?有建議將類似工作空間的瓶頸模塊集成到神經網絡架構中。但J空間論文認為這些意識相關功能並非由架構導致,而是自然湧現的。

J透鏡在對齊監控方面可能非常有用。如果模型的策略思考是通過J空間進行的,那麼檢查決策位置的J空間就能揭示這種思考過程,從而可以對其進行監控。實際上,透鏡的讀取計算成本很低(每層只需一次矩陣乘法,每個模型只需計算一次矩陣),無需輔助訓練,並且輸出結果可以直接供人閱讀。因此,它可以輕鬆地大規模應用於token審查的文本記錄。

但監測 J 空間並不足以進行對齊監測,模型可能執行的任何複雜計劃不一定在 J 空間中體現。有很多原因會導致相關機制逃避 J 透鏡的檢測。

人們不必只是監控 J空間,也可以塑造它。訓練模型在其任務語境的假想中闡明原則,會把這些原則所對應的概念植入原始語境中的 J空間,模型在這些原始語境中的行為也會相應發生改變。如果確實能夠泛化,那麼產生了一條路徑:可以直接在抽象層面向模型灌輸倫理原則,而不必先把這些原則轉化為示範樣本或獎勵函數

--

參考文獻:

https://transformer-circuits.pub/2026/workspace/index.html

https://www.anthropic.com/research/global-workspace

https://www.unicog.org/publications/DehaeneNaccache_WorkspaceModel_Cognition2001.pdf

https://royalsocietypublishing.org/rsta/article/384/2320/20240527/481691/Is-there-an-I-in-AI

https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf

海量資訊、精準解讀,盡在新浪財經APP

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10