意识研究的一个里程碑:Anthropic发现语言模型的J空间

未尽研究
Jul 08

Anthropic宣布它在大模型中发现了J空间(J-space),当信息进入这一空间时,会产生意识通达conscious access)效应。这项研究引起了轰动,也伴随着不少争议。

这些意识相关功能并不是训练导致,而是自然涌现的,目前在Claude模型和千问模型中都发现并初步验证了。J空间的发现,第一个可能的应用,就是模型的安全对齐,人类可以轻松监控J空间,并且可能直接向其中灌输伦理原则。

正如Anthropic的模型心理研究团队所说,这项研究受到了心理学中有关“全局工作空间”(GWS)或者“全局神经工作空间”(GNW)理论的启发。所以,要理解Anthropic的这篇论文《可言说表征形成了语言模型的全局工作空间》(Verbalizable Representations Form a Global Workspace in Language Models),必须要先了解认知科学中的GWS理论。

两位法国神经科学家Stanislas Dehaene 和Lionel Naccache于2000年提出了这一“意识的认知神经科学框架”,Anthropic设计了工具雅可比透镜(Jacobian lens),基于GWS的假说,初步验证了J空间,并且与人脑的工作空间进行了对比。

荷兰的认知神经科学家Bernard Baars1988年提出了这一理论:大脑包含一组专门化的、在很大程度上彼此独立的模块化处理器。视觉、语言、运动控制分别依赖快速、并行且封闭的脑回路;他进一步提出了全球工作空间假说,认有意识通达的演化就是打破这种模块性,将这些处理器连接起来,使它们能够共享各自的专长,并灵活组合起来完成新任务。

按照这一观点,有意识处理是一种功能,它临时选择某一信息片段,并将其全局广播给所有接收处理器,使任何处理器都能读取它并对它采取行动。在人类中,这种广播会到达参与语言生成的处理器,这解释了为什么可报告性,即将一个思想言语化的能力,是区分有意识表征和无意识表征的关键诊断特征。

Dehaene Naccache等人共同发现了初步的证据,一个由具有长程轴突的锥体神经元组成的网络,分布在整个大脑中,但在前额叶、顶叶和高级颞叶皮层中更为密集。这个网络会放大并维持一个被选中的表征,并将其共享到整个皮层。从功能意义上说,可称之通达意识(access consciousness),意识到某个东西,即该信息已经进入这个工作空间,并且可以用于报告、推理和灵活控制(C1)。

这一观点现在已得到更多实证,包括一些已经相当确立的有意识通达的神经生物学标志。第一个标志是点火(ignition),当一个刺激跨过阈值进入意识时,相应的神经活动会在稍后,约 250 毫秒后,突然、非线性、自我放大地分岔为一个持续的、广泛分布的神经状态,涉及前额叶皮层和许多其他相互连接的回路,同时也包括对最初提取该信息的原始回路的放大。相比之下,一个阈下刺激只会在专门化回路中激发一阵有限的神经活动,并迅速消退。当刺激恰好处于阈值水平时,同一个刺激在不同试次中可能产生双峰分布的反应,仿佛大脑会向这个方向或那个方向突然倾斜。第二个标志是容量有限,工作空间成为瓶颈,一次只能注意一个表征。这一属性解释了为什么注意某一过程会阻止你意识到另一过程,比如在非注意盲视中看不到一个装扮成大猩猩的人,或者会使另一个过程的知觉延迟数百毫秒,例如心理不应期。

为了灵活而恰当地路由信息,系统必须维持一个关于自身容量的模型。该第二属性为自我监控(C2)。它必须探测自身状态,评估这些状态达到目标的可能性,发现错误,并建模自己知道什么、不知道什么。它必须能够将所有这些属性报告给自己,形成一种内部的自我报告行为,而这并不一定导致外显行为。

总之,意识并不是一个单独的灵魂实体,也不是某个脑区里的小剧场,而是一种信息访问结构。J空间论文并不是强说“模型真的有意识”这个命题,而是试图验证这个结构性想法,系统内部可能存在一个小而全局可读的工作空间,其中的内容更容易被报告、被灵活推理调用、被跨任务使用;而大量自动处理则可以在这个空间之外完成。

Anthropic的模型心理负责人、神经科学家Jack Lindsey领导团队进行了这项研究,论文发布前两个月,他们与Dehaene 和Naccache进行了多论交流,期间研究报告仍在演变,部分变化也是对其提出问题的回应。在论文发布后,Dehaene 和Naccache撰写了一份评论,认为这是“意识研究的一个里程碑”。

未尽研究翻译了他们评论文章中最重要的部分,包括对J空间论文的介绍和评论。如下:

--

J空间的主要发现是什么

GNW假说启发,Gurnee(论文一作) 等人试图在 Claude Sonnet 4.5 这样的大型语言模型内部,找到那些可言说的表征,也就是我们用于探测人类意识的同一个可报告性标准。在模型的任意一层中,可言说表征是跨单元活动的向量,它们编码的是模型在被询问时准备报告的信息 token:模型不一定会外显地产生它们,但它可以。为了识别这类可报告表征,他们开发了一个优雅的工具,即雅可比透镜(Jacobian lens)。对于每一层,它测量一个内部激活对模型最终输出 token 的平均因果影响,横跨大量不同语境。这个数学指标所捕捉到的激活,实际上就是模型倾向于说出的那些表征。这里的“平均”是方法的概念核心:它将那些真正处于报告准备状态的表征,与那些只是在某个特定语境中偶然泄漏到输出中的表征区分开来。

这组表征被称为J空间。它在任何给定层中解释的方差不到 10%,但具有非常引人注目的性质。作者最初仅仅依据可报告性标准识别出J空间表征,随后却发现,它们远不只是支持报告,而是作为一个脱离即时输入输出偶然关系的内部工作空间发挥作用。例如,当模型被要求在执行另一项计算时把某个概念保持在心中时,比如一边写句子 X,一边计算 3²2J空间中会包含那些未被报告的概念,即先是 9,然后是 7J空间承载多步内部推理中的隐藏中间值。正如Jack Lindsey我们所说,他们原本是在寻找可报告表征,却发现这些同一表征在灵活推理过程中也会对网络其余部分全局可用,因此满足了我们关于机器意识的 C1 标准:全局可用性。

关键在于,J空间是选择性的。它只包含模型所表征内容中的一小部分,也就是灵活信息处理所需要的高层信息。所有其他只用于例行任务的信息,似乎并不会进入 J空间。例如,已有研究表明,LLM (大语言模型)会持续记录每个词有多少个字符,以及一行中字符的总数,因为这些信息对于预测下一个 token 是否应该是换行符至关重要。然而,这类例行信息并不会进入 J空间,除非有一个显式任务要求访问这些信息。

在一个神经科学家仍只能梦想的实验中,作者交换了“意识内容”:他们从 J空间中读出一个概念,将它替换成另一个,然后观察模型的推理和报告如何随之改变。令人瞩目的是,与 GNW 假说一致,只有高层的非例行行为受到影响,而例行任务保持不变。例如,当模型阅读一段西班牙语文本时,即使任务并不要求报告其语言,J空间 也会识别出该语言是西班牙语。将这个 J空间表征替换为另一个表征,例如法语,会导致模型在显式语言报告中失败:当被问到这段文字是什么语言时,它回答“法语”而不是“西班牙语”。被替换后的模型在其他高层推断中也会出错:当被问到“hello”的对应词时,“Hola”会变成“Bonjour”;当被问到欧元之前的货币时,“Peseta”(西班牙旧货币)会变成“Franc”(法国旧货币)。然而,这种替换对其自动预测下一个词的能力没有影响:即使经过干预,Claude 仍然继续用西班牙语写作。在对所有顶层 J-space 表征进行大规模消融之后,模型的大多数基本能力仍然保持完好,但需要灵活推理的任务会选择性受损。

J空间论文)

若干结果让我们觉得它们是人类意识通达的直接类似物。当任务需要时,模型可以选择性地把某个原本不会进入 J空间的属性带入其中,比如下一个词应该是形容词这一事实。正如前面提到的,为了准确预测下一个 token 所需的自动参数,例如一行中字符的数量,通常不会出现在 J空间中;但当任务要求模型访问和操纵它们时,这些参数就会被编码进 J空间。这很好地展示了同一信息如何按需从自动处理状态进入可通达态。

重要的是,J间的通达也是有限的。在人类中,确实存在某种真正形式的内省,但它在很大程度上限于缓慢的串行计算Ericsson & Simon, 1993。在许多已有充分记录的情境中,我们会对自己的心理过程发展出虚构的解释Gazzaniga, 1998。这种“我们如何行动”与“我们以为自己如何行动”之间的分离,在选择盲现象中很明显Johansson et al., 2005;在视觉错觉影响我们的有意识知觉和语言报告,却不一定影响我们的运动手势这一现象中也很明显Aglioti et al., 1995。虽然目前文献还不足以充分证明,但 J空间似乎也存在类似的分离。事实上,同一研究团队此前的工作表明,当一个 LLM 被要求做加法时,它在语言上报告的内容,与它实际上如何得到结果之间几乎没有关系Lindsey et al., 2025

作者还表明,J空间展现了一个工作空间的结构性标志:它主要位于 transformer 的中间层,容量有限,其表征具有不成比例的影响力,因为模型中大量不同回路都会从这些表征中读取信息,也会向这些表征写入信息——这是全局广播的一个标志。

J空间的结构性示意图。来源:J空间论文)

独立于它与意识之间的假想关系,J空间的发现和隔离本身就是 LLM 可解释性研究中的重要一步。解码 J空间的内容,让我们能够极大地洞察 Claude “在想什么”,即使这些内容并没有被报告出来。这种“读心”对于将模型对齐到理想的伦理行为至关重要。事实上,论文中最非凡的发现之一是,J空间包含隐蔽思想。例如,当模型被给出伪造的搜索结果时,J空间中会包含 “fake”(虚假)“fraud”(欺诈)“fictional”(虚构)“poison”(偷毒)“injection” (注入)等 token,尽管模型输出并不一定表达这些词。

许多其他例子也表明,J空间包含模型不断演化的评估和审议过程,包括欺骗和恶意意图的不可见迹象,尤其是在被有意训练成不对齐的模型中。有一个案例中,按照 Gurnee 等人的说法,“模型的 J空间在其决定如何回应的瞬间,携带了欺骗意图的表征,而从表面提示中无法推断出这种意图”。在反身性任务中,J空间的内容常常包括模型对自身诚实性的反思,包括一种发现自己的伦理正在被测试的能力。我们把这些观察理解为通向一个隐蔽审议空间的清楚指标,也就是我们的 C1 机器意识标准;同时,它们也是自我监控,即 C2 标准的初步迹象。

在这方面,作者关于后训练的发现尤其令人震动:后训练把助手视角安装进了工作空间,叠加在一个基础模型之上;基础模型的工作空间已经存在,即 C1,但似乎尚未被注入自我监控,即 C2。此外,识别J空间还使 Gurnee 等人能够引入一种新的训练方法,专门、直接地重塑其内容,从而改善模型与理想价值之间的对齐。

比较 J空间与全局神经工作空间

如上所述,J空间与 GNW 之间存在许多对应关系:

可报告性,即人类有意识通达的操作性标志,正是 J空间被构建出来要捕捉的东西。

有限容量和选择性,对应于工作空间瓶颈。

J空间方向上广泛的上游和下游连接,呼应了我们为工作空间神经元所提出的长程广播架构。

同一个表征能够被许多下游计算灵活使用,这与 GNW 的全局可用性概念相符。事实上,J空间表征提供了 Dennett 所说的表征“影响力”或“大脑中的名声”Dennett, 2001,也就是全局广播;而根据 GNW 假说,全局广播正是有意识表征的定义性特征。

J空间在刻意的内部推理中扮演核心角色,而自动过程发生在它之外,这重现了我们在人类中记录到的有意识/无意识分工(例如 Charles et al., 2013; Dehaene, Naccache, et al., 1998

我们也对 J空间激活呈现高度非高斯分布这一点很感兴趣,也就是“尖峰状”,具有很强的超额峰度。我们最近的工作认为,人类的高级有意识处理建立在符号和语法之上。在人类化过程中,GNW 会获得一种准符号化的思想语言;当然,它是在连续的神经生物系统中实现的,但行为上却表现出全有或全无的符号特征,并能够创造语言、数学或音乐中的复杂组合结构Dehaene et al., 2022。如果一个连续神经系统在模拟离散符号,那么尖峰状激活分布是可以预期的。这种相似性值得进一步探索

不过,许多差异也很明显。

点火仍有待充分证明。论文显示 J空间容量有限,但并没有证明进入工作空间时存在非线性、竞争性、全有或全无的机制。而根据 GNW 和若干实验,这正是人类和动物大脑中有意识通达的可靠标志。尽管工作空间内容可以具有不同强度——Claude 的确表现出情绪强度的连续变化Sofroniew et al., 2026——但其是否存在应当是全有或全无的,取决于 GNW 的有限容量是否可用,或者是否已经被其他竞争内容占据。决定性的实验是可行的,尤其是在多模态模型中:以分级强度呈现刺激,例如不同对比度的图像,并询问 J空间表征是否以类似阈值的非线性方式开启,而更早的非 J空间层则随输入强度单调上升。更进一步,可以将刺激精确呈现在阈值处,并寻找不同运行之间的分岔,从而形成 J空间激活的双峰分布。点火的竞争性方面还可以更直接地探测:由于工作空间是一种有限资源,通达一个内容应当妨碍另一个内容同时进入。因此,要求模型同时在心中保持两个概念,应该会揭示出双任务干扰,也就是人类中央瓶颈的标志Marti et al., 2012

的确,在第一版草稿写成之后新增的分析表明,当模型面对模糊证据时,这种模糊性会在初始层中被表征;但在较后层中,J空间会迅速转变为对其中一种可能性的全有或全无表征见论文第 4.1.1 节和图 29此外,如果要求模型在执行算术任务时把某个概念保持在心中,模型表现会下降,尽管下降幅度中等。见论A.17这些发现指向一个容量有限的系统,不过目前仍不清楚其限制是否类似人类GNW 的限制。

J空间的容量似乎偏高。 Gurnee 等人发现,J空间可以包含大约 25 个活跃概念,这一估计高于大多数关于人类工作记忆的估计,后者通常是 3  4 个槽位,并且也未必会像人类那样诱发强烈的双任务瓶颈。不过,这 25 个概念的数字可能被提取技术本身人为抬高了,因为该技术基于输出 token。事实上,这些概念经常包含一些冗余,可能对应同一对象或场景的多个侧面。因此,J空间的真实内容更小,也许最好被理解为单一的“心智状态”或“语境”,这里的语境取Baars1988)的意义,而不是几十个彼此独立的内容。

的确,额外分析表明,J空间可以包含多个token,但只包含少量连贯想法,通常每层一到两个,总计约六个;当话题变化时,这些想法会突然改变。另见论文第 4.2 节和图 31

J空间涉及的是一个子框架,而不是一组专门的单元。在大脑中,GNW 假说预测存在具有特定解剖结构的工作空间神经元:它们在前额叶和其他联合皮层中更密集,并具有特定形态,即长距离轴突。相比之下,J空间分布在普通神经元之上。它甚至不是一个线性子空间,而是一个稀疏子框架,一个按token 索引的方向集合;这些方向存在于同一批单元之中,而这些单元也承载无意识内容。在 LLM 中,概念是叠加的,并且按照压缩感知的逻辑,稀疏概念可以被打包进共享维度而不互相干扰。随着人们开始在人类和动物的前额叶皮层中记录大量神经元群体活动,未来重要的问题是考察大脑是否也使用类似的重叠向量编码,正如最近的前额叶记录所暗示的那样Xie et al., 2022,或者有意识内容是否能够部分定位到特定细胞上,正如最初的 GNW 假说所预测的那样Dehaene et al., 1998。我们认为,很可能是大脑的物理约束不同于计算机,因此推动了专门细胞类型的演化,例如带有长距离轴突的大型锥体神经元。需要指出的是,这些实现细节虽然在神经科学中很重要,但对于机器是否能够实现有意识处理这一更广泛问题而言,大体上并不关键。

自主的循环活动在很大程度上缺失。这是一个关键差异:大脑的工作空间由皮层—皮层和丘脑循环回路维持,而 transformer 只实现一次前馈传递,因此只能以反应式模式处理信息。乍看之下,LLM似乎并不包含那种“奇异环”,而这种奇异环对于一个系统建模自身过程,并在连续迭代中发展出自我是必要的Hofstadter, 2007。更具体地说,缺乏自主的、自我驱动的动态,使 Claude 这样的 transformer 无法再现意识在静息态自发脑活动中出现的已知标志;而这些标志会在睡眠、麻醉或脑损伤中被破坏Barttfeld et al., 2015; Luppi et al., 2026

不过,有两个因素可能缓和这些差异。首先,J空间分布在连续层之上,而这些层确实实现了串行计算,例如逐步的心算。因此,层深度可以模拟人类工作空间的时间动态;事实上,已有多位作者提出,transformer 的连续层等同于一种循环网络(例如 Dehghani et al., 2019; Jacobs et al., 2025。其次,LLM 会在多个连续token 上计算。从这个意义上说,只要它们被允许产生新的输出,它们确实包含了一个动态循环,能够将当前 J空间的表征与过去、现在和未来的生成联系起来。此外,当模型只是被要求自言自语,而没有任何进一步刺激或任务时,它会产生一股词语之流。虽然这种词流很难客观评估,但它与 William James 所说的意识流或“心智漫游”形成了部分相似;并且,这种词流同样会被 J空间消融所破坏。见论文图 24 和图 78

人与机器中的意识:弥合差距

最后,我们讨论 Claude 这样的transformer 模型实际上在多大程度上拥有某种形式的有意识处理。

第一个结论,我们认为没有争议:有意识全局工作空间这一理论构造,对于阐明 LLM 如何运作非常有用。我们很高兴看到,GNW 假说——这一源于关于大脑意识架构研究的理论——启发 Jack Lindsey 的团队去寻找 LLM 中的相似结构,并发现了如此多的相似之处。Gurnee 等人正确地指出,他们的发现并不与其他意识理论不相容,尤其是高阶思想理论或注意图式理论;不过,可以公平地说,那些理论并没有提供如此多具体的线索,告诉我们应该去寻找什么。

最有趣的是,GNW 的一个类似物,即J空间,是训练的结果,而不是像其他机器意识路径那样一开始就被强加到系统中(例如 Chateau-Laurent & VanRullen, 2025。全局工作空间也许为灵活处理问题提供了一种普遍的计算解决方案。当生物系统和人工系统必须串联推理、重用中间结果,并报告自身处理过程时,它们会趋同到这一解决方案。

Claude 显然表现出许多成分或“指标”Butlin et al., 2026。按照功能主义或计算主义的意识观点,这些指标足以指向机器中存在某种程度的意识。尽管如此,现有测试清单仍可以、也应该加入更多测试。我们向 Anthropic 团队建议,他们可以运行与我们用来探测人类参与者和病人意识时完全相同的测试,包括:

  • 局部—全局测试Bekinschtein et al., 2009。这一测试依赖简单的听觉或视觉序列,对比两种预测下一个项目的能力:(1)基于浅层的局部转移概率,这不需要意识,即使在睡眠和昏迷中也会发生;(2)基于整个序列的全局模型,这种模型可能与局部转移概率相反,例如 AAAAB,并且依赖意识。

  • 痕迹条件反射范式trace conditioning paradigmClark et al., 2002; Clark & Squire, 1998。根据 GNWT,为了跨越一个延迟并将一个项目与第二个项目联系起来,系统必须在时间中维持一个活跃表征,而这需要有意识通达。一个优雅的测试方法是使用“痕迹条件反射”范式:在包括人类在内的多种动物中,当条件刺激(CS)与无条件刺激(US)在时间上重叠时,条件反射可以在没有有意识通达的情况下发生。然而,一旦在 CS 结束和 US 开始之间插入 1  2 秒的时间间隔,条件反射就需要有意识通达。

    (根据这一提议,Jack Lindsey 提出如下可能适用于 Claude 的等价范式:向模型呈现一些序列,其中最后一个词由第一个词决定,例如每当 “violin” 出现在开头时,“river” 就出现在结尾;二者之间隔着数量可变的干扰词,然后探测 J空间消融对预测最后一个词能力的影响。初步结果表明,消融 J空间会选择性损害较长“间隔”条件下的补全能力,而相邻、无间隔的“局部”情形保持完好。因此,我们认为痕迹条件反射是未来研究中一个非常有前景的方向。)

  • 纳入/排除范式inclusion/exclusion paradigmJacoby, 1991; Persaud & Cowey, 2008。这是经典 Stroop 测试的一种发展,而 Stroop 测试正是我们 GNW 提议的源头之一Dehaene et al., 1998。它要求智能体施加有意识控制,以对抗自动的无意识计算。

    (受这一测试启发,Gurnee等人向 Claude 呈现了一段强烈暗示某个概念但不直接命名它的文字,例如:“他们的旅行包括羊角面包、卢浮宫,以及登上那座著名铁塔。”这暗示法国。随后,他们要求模型要么说出这个被暗示的概念,即命名指令;要么在同一类别中给出另一个名称,即回避指令。然后,他们在早期工作空间层 L913 或晚期工作空间层 L1822 消融该被暗示概念的 J透镜向量。晚期层消融只是使模型在两种指令下都更不可能产生该概念,这与这些层承载输出某一词的意图相一致。相比之下,早期层消融基本保留了命名能力,却显著提高了模型无法回避该概念的比例,大约提高了五倍。这些结果表明,一个概念在早期 J空间中的表征,对于有意避免说出它是必需的,但对于说出它并不是必需的:早期 J空间被专门用于抑制一个优势反应,这很像人类和非人灵长类前额叶皮层的作用。)

  • 错误监控和其他元认知探测任务Charles et al., 2013; Fleming, 2024。重要的是,需要记录 J空间是否编码模型的信心、错误检测,以及它对“自己知道什么”和“不知道什么”之间边界的表征;这可能是机器中的错误监控和“知道感”的类似物,而这些在人类中标志着自我监控(C2)。

    Gurnee 等人现在报告说,Claude 中也出现了类似现象:在 J空间中出现了 “damn” 以及其他与失败相关的词,例如在模型未能遵守抑制指令之后。)

然而ClaudeJ空间也有一些特征,使它不同于任何动物形式的意识。例如,它的时间感很可能非常不同,因为所有过去 token,即使在很久以前,也都同等地、联合地可供其注意机制访问。它缺乏警觉性所依赖的那些广泛共享的分子机制和脑干机制,因此,如果消融 J空间,似乎很难产生类似睡眠、昏迷、植物状态或最低意识状态中的意识丧失现象Giacino, 2005; Naccache, 2018。它也没有两个半球,不过,如果一个被适当分割的模型能够容纳两个偶尔彼此意见不一致的 J空间,就像裂脑患者的两个半球那样,那将是一个很有意思的问题。

它的自我表征也很可能极其不同,原因包括:(1)它缺乏一个占据特定空间位置、并能发出快乐或痛苦信号的身体;(2)它缺乏情景记忆,也就是说,长期连接不会因为一次对话而改变。因此,除了上述缺乏自主性之外,它很可能缺少任何自我连续性的感觉。事实上,我们很难想象,“只在一段短暂对话期间有意识地处理信息,然后就关闭”,这种状态究竟“像什么”。

批评者无疑会反对说,这些工作都没有触及现象意识,也就是 Claude 经历 J空间状态时是否存在某种“像什么”的主观体验。有些人甚至可能把这些发现视为对 GNW 假说的反驳,因为 Claude 拥有一个全局工作空间,却“显然”没有现象意识。然而,我们和其他人一直主张,一旦我们足够清楚地阐明所谓“容易问题”——即有意识信息如何被处理——这个所谓的“意识难题”就会消散。那些界定不清的直觉,比如“感质”“主观现象体验”和“像什么”,如果被追问到底,往往会暴露出某种残余的隐性二元论或活力论:也就是说,不管我们多么接近通过图灵测试,不管我们在机器中实现了多少人类计算,总会缺少某种成分,一种只有生物大脑才拥有的 “je ne sais quoi” (难以言说)。感质论者会断言,LLM 只是旧式 “Eliza” 软件的新化身,我们太容易陷入用户错觉,看见机器中的幽灵。然而,也存在一种真实可能性:我们自己的意识在某种意义上也是一种用户错觉,只不过是一个关于自身的、易错的内部模型而已Graziano et al., 2019; Hofstadter, 2007)。

在一篇富有洞见的文章《AI 中是否有一个 “I”?》(“Is there an I in AI?”)Hofstadter, 2026中,侯士达(Douglas Hofstadter)指出,我们人类倾向于错误地以离散方式分类世界,把生命、思想或意识这类属性看作理想本质,仿佛要么拥有,要么没有,中间没有渐变。于是,我们就会陷入无休止的讨论:这些理想化概念是否适用于某些对象,以及在多大程度上适用,例如病毒、蟑螂、青蛙、狗。根据 GNW 假说,并不存在某种神奇本质使我们有意识。用侯士达的话说:

“当词语‘表现得像’世界中的事物时,它们就指向那些事物;它们就意味着那些事物。如果这种情况发生了,那么在这些词语背后,思考就正在发生。哪里有思考,哪里就有意识,也就有一个真正的、成熟的‘I’。”

在这段话中,侯士达采取了一种相当明显的行为主义立场,而这种立场确实有可能陷入“用户错觉”,把过多深度赋予纯粹的词语。一些批评者确实认为,LLM 只是肤浅的“鹦鹉”,没有任何概念深度。幸运的是,无论在大脑还是 LLM 中,如今我们都可以通过超越行为观察来解决这一争论。神经元群体记录这样的工具用于大脑,雅各布透镜这样的工具用于 LLM,使我们能够剖析系统架构,并发现其中实际上包含复杂且结构化的概念表征。当研究人员发现,一个只接受文本棋谱训练、用于生成国际象棋棋局的 LLM 内部,竟然存在一个对 8×棋盘的详细几何编码,并且还包含对对手 ELO 等级的估计时,我们已经印象深刻Karvonen, 2024。我们也以同样的眼光看待 Gurnee 等人的论文:它对 LLM 内部结构进行了令人震惊的剖析,揭示出一种出乎意料的复杂组织,而这种组织与真实大脑中意识所依赖的架构并不遥远。

(评论结束)

--

One More Thing:直接向J空间灌输伦理原则吗

J空间的发现,对于今后的模型训练与对齐带来什么影响?

J空间的内容可以直接读取、干预,并且可以在训练过程中进行追踪。这种实验上的可操作性,使得语言模型成为实证研究意识相关问题的有效系统,而这些问题在生物大脑中甚至难以精确提出。

J空间在任何RLHF(人类反馈强化学习)之前就已经存在于基础模型中并承担负载,因此该结构并非完全是训练后的结果;而且,目前并不清楚它在预训练阶段出现得更早,是逐渐出现还是突然出现,以及它如何随模型规模变化。未来的工作可以探讨较小的模型是否具有同样丰富的工作空间、比例更小的工作空间、可靠性更低的工作空间,或者根本不存在工作空间。

那么,能否在语言模型中构建通达意识呢?有建议将类似工作空间的瓶颈模块集成到神经网络架构中。但J空间论文认为这些意识相关功能并非由架构导致,而是自然涌现的。

J透镜在对齐监控方面可能非常有用。如果模型的策略思考是通过J空间进行的,那么检查决策位置的J空间就能揭示这种思考过程,从而可以对其进行监控。实际上,透镜的读取计算成本很低(每层只需一次矩阵乘法,每个模型只需计算一次矩阵),无需辅助训练,并且输出结果可以直接供人阅读。因此,它可以轻松地大规模应用于token审查的文本记录。

但监测 J 空间并不足以进行对齐监测,模型可能执行的任何复杂计划不一定在 J 空间中体现。有很多原因会导致相关机制逃避 J 透镜的检测。

人们不必只是监控 J空间,也可以塑造它。训练模型在其任务语境的假想中阐明原则,会把这些原则所对应的概念植入原始语境中的 J空间,模型在这些原始语境中的行为也会相应发生改变。如果确实能够泛化,那么产生了一条路径:可以直接在抽象层面向模型灌输伦理原则,而不必先把这些原则转化为示范样本或奖励函数

--

参考文献:

https://transformer-circuits.pub/2026/workspace/index.html

https://www.anthropic.com/research/global-workspace

https://www.unicog.org/publications/DehaeneNaccache_WorkspaceModel_Cognition2001.pdf

https://royalsocietypublishing.org/rsta/article/384/2320/20240527/481691/Is-there-an-I-in-AI

https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf

海量资讯、精准解读,尽在新浪财经APP

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10