涌现是幻象吗？

涌现

「涌现是伪概念」——即复杂系统中貌似质变的现象，只是把非线性的评估指标套在本质上线性或平滑变化的过程上所产生的假象——这一主张自 Schaeffer、Miranda 与 Koyejo 2023 年的论文《大语言模型的涌现能力是幻象吗？》发表以来获得了广泛支持。这个论证的吸引力在于它的简洁：选一个不连续的指标，你就会在一个底层数据生成过程中不存在不连续的地方制造出一个不连续。本文考察这一论证的力量与局限，把它置于物理与生物系统相变研究的更广阔文献之中，并提出一个更具体的问题：当代机器学习理论——尺度定律、损失地形几何、grokking 与机制可解释性——究竟告诉我们，经过训练的网络中出现的涌现，是测量假象、真实的动力学相变，还是根本抗拒这种二分法？

我在下文详细论证的结论是：「幻象」批判作为对某一类基准报告式涌现能力的一个局部、方法论层面的论断是正确的，但它并不能推广为对涌现作为科学概念的彻底否定。过去三年的机器学习研究，已经从训练损失相变、grokking 动力学和电路层级的可解释性等方面独立积累了证据，证明神经网络行为中的某些不连续性是优化动力学自身的属性，与读出指标的选择无关。区分这两种情形需要特定的方法论纪律，本文试图把它明确化。

幻象论证的形式化

Schaeffer 等人的核心技术主张建立在一个简单的概率分解之上。考虑一个需要 $n$ 个独立子步骤全部正确的多步任务——例如多位数字的算术问题，或带有若干中间步骤的思维链推导。如果模型每步的正确率 $p$ 随参数量 $N$ 平滑、连续地提高（比方说，按照尺度定律理论的标准形式遵循幂律，$p(N) \approx 1 - aN^{-\alpha}$），那么在精确匹配指标下的任务级准确率就是：

由于这是一个趋近于 1 的量的幂，$p$ 在接近上限处的微小绝对增长，会引起 $P_{\text{任务}}$ 不成比例的巨大相对增长。结果是出现一条先平后陡的曲线——正是 BIG-Bench 上几十个任务报告的那种标志性的「涌现」S 型曲线——尽管 $p(N)$ 本身完全平滑。关键在于，作者还表明：换成某种连续的指标（词元级对数似然、布莱尔分数或部分得分），就能在同一批模型、同一批任务上恢复平滑性。这之所以是一个有力的结果，恰恰因为它是一个受控比较：同样的系统、同样的数据，不同的读出函数，得到不同的定性结论。

这推广了统计学与心理物理学中一个早已熟知的观点：连续变量的阶跃函数可以通过取阈值轻而易举地构造出来，而取阈值带来的不连续，告诉你的只是阈值本身，而不是那个变量。同样的逻辑也能解释洞察式问题解决研究中出现的「恍然大悟时刻」——主观的、二值的自我报告掩盖了连续的、低于阈值的信息积累，后者要等眼动追踪等连续仪器才能揭示。它也能解释那些表面上的生态「崩塌」，一旦提高采样频率，便消解为渐进的衰退。这些情形的共同结构缺陷是：把观测的离散性误当成了过程的离散性。

论证的越界

从「某些报告的涌现能力是指标假象」推出「涌现是伪概念」，犯了我所谓反例消除谬误的错误：对某一子类主张的一次具体、受控的证伪，被当成了对整个范畴的证伪。有三点考虑限制了幻象论证的适用范围。

组合式任务结构是世界的真实属性，而非仅指标的属性

如果某个下游应用确实要求全部 $n$ 步都正确——编译后的程序必须没有语法错误；证明必须没有无效步骤——那么 $P_{\text{任务}}(N) = p(N)^n$ 就不是测量假象，而是对用户相关的成功概率的正确描述。其机制完全可以解释、毫无神秘可言（这是初等概率，不是隐藏的相变），但现象本身——在一个狭窄的能力区间内可用输出占比的急剧上升——是真实且有后果的。幻象批判正确地揭开了机制的谜团；它并没有消除现象。这个重要的区分在论证的通俗转述中被抹平了：「无法解释」与「虚假」不是同义词。

复杂系统中确实存在真实相变，具有指标无关的签名

统计物理提供了一个严谨的反例类。铁磁体系中的居里点是真正意义上的二级相变：重整化群理论预言了临界指数（$\beta$, $\gamma$, $\nu$），并在相互独立的可观测量——磁化强度、磁化率、关联长度、比热——上得到验证，所有这些量都在同一个临界温度处发散或消失，无论你选择测量哪一个。随机图上的渗流转变具有类似的普适性：当边密度跨越阈值时，连通性性质急剧转变，这可以从概率论的第一性原理出发证明，与任何特定的观测读出无关。在这些情形里，那个令 LLM「涌现能力」声名扫地的检验——转变在更换指标后是否依然存在？——被漂亮地通过了。一旦离开幻象论文所在的特定领域（LLM 基准评测），「涌现总是指标假象」这一全称论断在经验上就是错的。

「涌现」涵盖多种不同的现象，其中只有一部分处于争议之中

科学哲学文献（安德森 1972 年的《多即不同》是标准参考点）至少区分了：（a）认识论涌现——尽管原则上可由微观规则推导，却难以从微观规则预测的性质；（b）本体论/弱涌现——在宏观尺度上新颖、但原则上可经由模拟还原的性质；以及（c）强涌现——被声称原则上也不可还原的性质，这是一个更有争议的概念。幻象论证在其恰当范围内，是一个关于特定认识论错觉——由指标选择诱发的表面上的不可预测性——的论证，而对弱涌现是否存在于神经网络中几乎不置一词。混淆这些含义，正是这场争论产生更多热量而非光亮的缘由之一。

镜像情形：线性指标掩盖真实的非线性结构

前面的讨论都把指标选择当作产生假象式不连续的来源——LLM 的情形、洞察式问题解决的情形、粗略生态普查的情形。三者共享同一个误差方向：非线性或取阈值的读出函数，从平滑的底层现实中制造出表面上的陡峭。但地震震级里氏标度的发展历史则展示了相反的误差方向，它之所以有教益，恰恰因为它不符合幻象模板。

地震学家最初用地面运动的原始振幅量化地震强度，这是一种线性的仪器读数，与地震仪记录到的物理位移成正比。结果发现，这个指标与研究者真正关心的构念——破坏潜力——匹配得很差，因为地震能量释放随振幅不是线性而是乘性地变化：振幅增大十倍，辐射能量约增大三十二倍，而破坏能力与能量、而非位移成正比。在原始的线性振幅指标下，现象的真实结构——能量释放的古登堡 - 里克特幂律分布，其中灾难性事件与轻微震颤相差许多个数量级——被压缩进一个狭窄的、视觉上波澜不惊的数值区间，系统地掩盖了 8 级事件与 5 级事件之间类别的天壤之别。查尔斯·里希特在 1935 年的解决方案，是把震级定义为振幅以 10 为底的对数（并作距离修正）。这是有意把非线性引入指标，使得新标度上的等量增量对应底层能量释放的等量比值——把一个乘性的、难以沟通的现实，变成一个加性的、可解读的。

地震情形是 LLM 幻象在结构上的镜像：在那里，非线性指标（组合式任务结构下的精确匹配准确率）从一个实际上平滑的底层现实中制造出虚假的不连续。在这里，线性指标（原始振幅）掩盖了一个真实的、性质刻画清楚的乘性结构，而纠正的做法恰恰是采用对数——即非线性——指标，正因为底层物理过程（由断层破裂面积与应力降控制的弹性能量释放）本身在所测量的量上是指数式的。关键在于，这并不是随意的选择：采用对数变换，是因为独立的物理理论（地震矩、破裂尺度与辐射能量之间的关系）预先预言了乘性关系，新标度也正是依据这一理论得到验证——这正是下文判别框架中将被形式化为检验 2 的那种「独立理论预言」标准。

把 LLM 与地震这两个案例放在一起读，可以三角定位出这场争论背后那个更深层的方法论原则：任何指标对现象施加的定性形状都不可能是中立的，而可能的失真方向是双向的。非线性/取阈值的指标可以从平滑现实中制造出虚假的陡峭（LLM 基准）；线性指标同样可以掩盖真实的、有理论根基的非线性结构（里氏标度之前的振幅标度）。因此，「偏好连续指标」本身并不是从幻象论证中应该提取的正确方法论教训——正确的教训是：指标的函数形式必须与被测量的原始量与科学关注的构念之间真实关系的函数形式相匹配，而这种匹配必须独立地（通过理论，或通过与破坏性之类外部准则的验证）得到辩护，而不是在任一方向上默认为之。仅仅因为某个指标是连续的便选择它，却不追问那个特定的连续变换是否追踪了所关注的构念，将和幻象论文所批评的精确匹配错误一样没有原则。

机器学习理论的补充

最有趣的近期证据并不来自基准准确率曲线，而是来自神经网络的内部训练动力学——这是幻象论文未曾涉及的领域，因为它只研究跨模型规模的推理期尺度行为，而不研究单个模型在训练时间上的轨迹。

Grokking：真实的动力学转变

Power、Burns、Edwards、Babuschkin 与 Misra（2022）记录了「grokking」现象：在小算法任务（例如模算术训练）上，网络几乎立即记住训练集，随后长时间停留在接近零的测试准确率平台上，再急剧转变到接近完美的泛化——往往比训练损失首次收敛的时间晚好几个数量级。这不是 Schaeffer 意义上的基准指标假象：它在许多随机种子下的测试集准确率上都能观察到，在测试损失等连续指标读出下也成立，而且后来被赋予了一个机制解释——同一网络内部一个记忆电路与一个泛化电路相互竞争，在权重衰减压力下泛化电路最终胜出（Nanda 等，2023，《通过机制可解释性衡量 grokking 的进展指标》）。关键在于，Nanda 等人表明，连续的机制性进展指标——从学习到的嵌入的傅里叶结构导出、追踪用于实现模加法的三角表示的逐渐形成的量——在测试准确率看似平坦的平台上平滑、可预期地上升。这正是 LLM 基准故事在结构上的镜像：在这里，粗粒度指标（准确率）中貌似离散的转变，底层是良好选择的细粒度指标中的连续进展，而这种细粒度进展确实最终促成了网络内部计算一次真实的、在机制上得到刻画的重新组织——一次电路层级的相变，而不只是统计读出的效应。粗与细两幅图景可以同时为真；有趣的问题是细粒度进展指标做了什么工作，而 grokking 研究给出了异常清晰的回答。

归纳头与训练损失相变

Olsson 等（2022，《上下文学习与归纳头》，Anthropic）报告了一个更有资格被称为真实相变的现象：transformer 语言模型的训练损失曲线上出现一个陡峭的隆起，发生在训练早期一个特定的、一致的时点，并在各模型规模与架构上，与「归纳头」的形成同步——归纳头是实现简单复制算法（[A]B ... A → 预测 B）的注意力电路，后来被复用于更一般的上下文学习。这个转变在训练损失本身上可见——这是一个连续的、直接被优化的量，不涉及任何取阈值或精确匹配的离散化——这直接击破了幻象解释，因为幻象机制需要一个被人为离散化的读出才能制造出陡峭的外观。此外，损失隆起的时点（通过消融研究）与归纳电路的出现之间存在因果关系，这为转变为何发生提供了一个机制的说明，正如重整化群理论解释了为何居里点在磁化强度上产生陡峭行为一样。这是深度学习目前最接近物理式涌现的东西：一个指标不变的、有机制解释的、可复现的动力系统不连续。

尺度定律、损失地形与阈值附近方差的压缩

还有一条互补的、更带怀疑色彩的 ML 理论脉络值得摆到台面上，因为它从另一个角度部分支持了幻象阵营。标准的神经网络尺度定律（Kaplan 等，2020；Hoffmann 等，2022）表明，损失本身——可用理论动机最充分的连续指标——随参数、数据与计算量按平滑幂律缩放，跨越多个数量级都没有不连续。如果损失平滑而下游任务准确率不平滑，那么在缺乏内部离散重组证据的情况下，最节俭的解释确实是：任务级不连续是从损失到任务表现的映射（组合式结构、取阈值、指标选择都从这儿进入）所产生的下游假象，而非模型底层能力的不连续。这正是 Schaeffer 等人的论点；在缺乏训练期机制性叙事来回应它时（正如大多数报告的「涌现」基准能力那样，与归纳头或 grokking 形成对照），幻象解释应当被视为默认的、更节俭的假设，符合奥卡姆剃刀式先验。

判别框架

把这些线索汇聚起来，我提出三个可操作的检验，用于在任何复杂系统（包括机器学习）中区分真实的动力学涌现与指标诱发的错觉。

指标不变性，方向要正确。转变在更换指标后是否依然存在？该指标的函数形式必须被独立地证明确实追踪了所关注的构念，而不仅仅是连续。正如地震震级案例所示，「连续」并不等于「正确」——线性指标同样容易掩盖真实的乘性结构，正如取阈值指标容易制造虚假结构一样。相关的问题不是「读出是否连续？」而是「读出的函数形式是否与真实生成关系的函数形式相匹配？」通过这一恰当表述的检验（如归纳头的损失隆起、经由多个独立可观测量测得的铁磁临界指数、或对照地震能量理论验证的对数震级），是底层存在真实结构的强证据。未通过（如大多数 BIG-Bench「涌现能力」在对数似然读出下的表现），则是原始指标选择造成假象的强证据。

独立的理论预言对比事后的曲线拟合。转变的位置或存在，是由独立的理论框架（临界现象的重整化群理论；归纳头的电路形成理论）预言的，还是仅仅通过肉眼看出一条恰好弯曲的曲线而事后识别出来的？先验的预言比事后的模式识别具有强得多的认识论效力，后者极易受确认偏误与基准套件中几十个任务上的多重比较问题的影响。

不连续的所在：生成机制对比读出函数。不连续位于生成系统内部状态的过程之中（一个电路形成、一个序参量跨越临界值、一个竞争电路动力学趋于解决），还是位于把内部状态映射到外部报告的函数之中（精确匹配评分器、二值的「解决/未解决」判断、粗糙的采样间隔）？第一类不连续是真实涌现的候选者；第二类不连续在没有反证之前应当按假象处理。

应用这个框架：归纳头的形成与 grokking 的电路竞争通过了全部三项检验，有资格被称为学习动力学中真实的——尽管规模不大——相变。而大语言模型的大多数基准报告的「涌现能力」正如 Schaeffer 等人直接展示的那样，在检验 1 上彻底失败，通常也在检验 2 上失败，因为它们是靠扫描许多任务找不连续形状的曲线识别出来的，而不是由独立的关于能力习得的理论预言出来的。

结语

地震震级案例是一个有用的纠偏，可以和上面讨论的机器学习证据并置，因为它防止判别框架坍缩成一个简单启发式——「偏好平滑指标，警惕取阈值指标」。这个启发式是从 Schaeffer 等人那里应该得到的错误教训，因为它会劝告地震学家拒绝（非线性的、对数的）里氏标度，改用它所取代的（线性的、连续的）振幅读数——这恰恰反了，因为对数标度才是追踪物理现实的那个。一般原则与其说是关于线性本身，不如说是关于指标的函数形式是否已从关于底层生成过程的理论中独立推导出来、或依据该理论得到验证，而不是出于惯例或便利被采用。

幻象批判最好的理解方式，不是证明了涌现普遍是虚假的，而是证明了某一特定且流行的取证实践——把精确匹配准确率随模型规模的陡峭跳跃报告为质上崭新能力的证据——在统计上是有混淆的，应当退役或大幅限缩。这是对一处已然漂移的文献的一次真实而有价值的修正，那处文献在有些地方已滑向把基准曲线形状当作窥见模型认知的直接窗口。但机器学习理论本身，经由机制可解释性与训练动力学研究——它们与催生幻象论文的基准尺度文献基本正交——已经独立地提供了符合更严格、指标不变、有机制根基的真实动力学相变标准的例子：grokking 的电路竞争、归纳头的形成及其伴随的训练损失转变。这里的教训不是涌现作为一个笼统命题是真实的还是虚假的，而是这个词一直不加区分地被用来覆盖两类范畴，而这一领域如今第一次拥有了逐案区分二者的经验与理论工具。这种纪律——指标不变性、独立预言、以及对不连续所在之处的关注——才是对不加批判的涌现话语及其笼统否定两者的恰当继承者。