大语言模型中的表征流形

将 LLM 的表征流形形式化：以度量空间定义特征，证明余弦相似度编码了特征之间的测地距离，并在颜色、日期与年份三类数据上实证验证了同胚性与等距性。

如果你关注了过去两年机制可解释性研究的进展，很可能见过这样一类图：把大语言模型某一层神经元的激活向量投影到二维或三维空间并作图，会发现「月份」「星期几」「年份」「颜色」等概念的表示并不是杂乱无章地散布在空间中，而是沿着一条优美的曲线排列——有时甚至是闭合的圆圈或环面。Chris Olah、Anthropic 的 Josh Batson 以及 Engels 等人，都在包括并非所有语言模型特征都是一维线性的在内的研究中展示了这一现象。

这些发现引人入胜，却也留下了一个令人不安的空白：我们看到了流形，却无法精确地说出这个流形与它所表征的「概念」之间究竟是什么关系。为什么「年份」这样一个本该是直线的东西，会在模型内部被扭曲成一条在高维空间中蜿蜒盘绕的曲线？「颜色」排列成圆形是巧合还是必然？向量之间的余弦相似度，真的能告诉我们两个概念在语义上有多接近吗？

三位数学家——分别来自帝国理工学院、爱丁堡大学和布里斯托大学的 Alexander Modell、Patrick Rubin-Delanchy 与 Nick Whiteley——在他们的论文《大语言模型中表征流形的起源》中，首次尝试为这些问题提供一个「最小可用」的数学理论。本文梳理他们论证的脉络，并给出我个人的一些思考。

线性表征假说

机制可解释性领域长期以来由一个核心信念所锚定，即线性表征假说（LRH）：模型将人类可解释的「特征」——例如「长着毛茸茸的耳朵」「提到了埃菲尔铁塔」「使用阿拉伯语」——编码为表征空间中一组近似正交的方向向量。给定输入的表示，则是这些方向向量的稀疏线性组合，权重由各特征是否存在及其程度决定。如今被广泛采用的可解释性工具稀疏自编码器（SAE），正是直接建立在这一假说之上：训练一个带有稀疏性惩罚的自编码器，去逼近这些「字典向量」。

然而，越来越多的证据表明，这种「非黑即白、一特征一方向」的模型无法解释某些现象。作者引用了大量的文献：模加任务中的数字被编码为圆；多语言模型中出现了环状结构；「日期」与「星期几」呈现出扭曲的环面几何；甚至在模拟的隐马尔可夫模型中涌现出分形几何。这些例子有一个共同点：特征不再是一条直线，而是一个完整、连续、可能非线性弯曲的流形。

因此，该领域提出了 LRH 的推广版本——多维线性表征假说：

\Psi(x) = \sum_{f \in F(x)} \rho_f(x) v_f(x)

其中 $v_f(x)$ 不再是固定方向，而是可以在某个子空间 $V_f$ 内随输入 $x$ 连续变化。标准的 LRH 只是 $v_f(x)$ 恒定且 $V_f$ 一维的特例。

这篇论文想要处理的，恰恰是这个推广假说中最核心也最含糊的部分：特征 $f$ 在子空间 $V_f$ 中以何种流形形态呈现，这个流形与「特征」本身之间又是什么关系？

「特征」即度量空间

论文中最优雅的一步，是先解决一个听起来有些哲学、实际上至关重要的问题：「特征」究竟是什么？

作者给出的答案出人意料地简洁：特征是一个度量空间 $(Z_f, d_f)$ ——一个集合连同定义在该集合上的某种「距离」概念。这个定义看似平淡，实则表现力极强：

原子特征（是否有猫）： $Z_f$ 是单元素集合；
层次特征（动物的分类学树）： $Z_f$ 是离散集合， $d_f$ 是其上的树距离；
连续特征（颜色色相、一年中的第几天、日历年）： $Z_f$ 可以是区间、圆或更高维的欧几里得空间。

这一框架比学习理论中常见的「欧几里得空间」或「超球面」假设更灵活，又比解耦文献中带群结构的黎曼流形简单得多、也更易于处理。这是典型的数学家式选择：在表达力与可处理性之间取得恰当的平衡。

在「特征即度量空间」这一定义就位后，作者提出了论文的第一个核心假说：

假说 1（连续对应假说）。特征值 $z_f(x)$ 与表示方向 $v_f(x)$ 之间存在连续、可逆的一一对应；即存在连续映射 $\phi_f: Z_f \to S^{D-1}$ （映到单位超球面），使得 $v_f(x) = \phi_f(z_f(x))$ 。

结合 $Z_f$ 是紧空间的这一技术前提，该假说立即导出一个干净的推论（命题 1）： $\phi_f$ 是一个同胚。换言之，表征流形 $M_f$ （即 $\phi_f$ 的像）与原始特征空间 $Z_f$ 在拓扑上「形状相同」：若 $Z_f$ 是区间， $M_f$ 就是一条曲线；若 $Z_f$ 是圆， $M_f$ 就是一个圈；连通分量、孔洞、分叉点——所有这些拓扑性质都被忠实地保留下来。

这一步的意义在于，它第一次用严格的数学语言把「流形长什么样」与「概念本身的结构」联系起来，而不再停留在「看起来像个圆」这种直观描述上。

实证验证

再优雅的理论也必须接受数据的检验。作者选取了三个有代表性的案例：

颜色：用 OpenAI 的 text-embedding-large-3 从英文颜色名称生成 3072 维嵌入，再用 PCA 降到三维用于可视化；
年份：沿用 Engels 等（2025）的做法，用 SAE 从 GPT-2-small 的第 7 层提取「20 世纪年份」特征；
日期：用「1 月 1 日」到「12 月 31 日」等提示词生成嵌入，同样使用 OpenAI 的嵌入模型。

结果令人瞩目：颜色嵌入沿一个圆环排列，色相次序（红→紫→蓝→绿→黄→橙→红）与标准色环完全吻合。年份的 token 激活在三维空间中描出一条蜿蜒的曲线，隐约唤起人类对「时间线」的直觉。作者进一步用 k-近邻图估计了流形上的序结构，并与真实年份计算秩相关，得到肯德尔相关系数 0.97、斯皮尔曼相关系数超过 0.99——近乎完美的单调对应，为同胚预测提供了有力支持。

论文里还有一个特别耐人寻味的「陷阱」细节：在 Engels 等人的原始工作中，「星期几」和「月份」的表示投影到前两个主成分上时，呈现出整齐的圆。作者指出，一旦考察第三个主成分就会发现，这个「圆」其实在第三维上持续地扭曲缠绕；被压进二维平面的整齐圆是一种视觉假象（见其图 2）。这一观察是一个告诫：低维投影作为可解释性研究不可或缺的可视化工具，同时也可能误导人。

计算表达能力角度

至此一个自然的问题浮现出来：既然「年份」本质上是一维的量，模型为什么不在表征空间中直接把它编码成一条直线段，而要扭曲成一条穿过高维空间的曲线呢？

作者给出的答案既直观又带着数学家的典型气质：表达能力。如果目标仅仅是通过线性投影「读出」 $z$ 本身（即让恒等函数 $\mathrm{id}(z) = z$ 能通过一次线性运算算出），那么两个正交方向 $v_0, v_1$ 就足够了。但如果还希望让 $z$ 的高阶多项式（如 $z^2$ ）也能被线性读出，就需要更多的正交方向 $v_0, \dots, v_{p+1}$ ，相应地 $\phi(z)$ 描出的路径就必须在一个 $(p+2)$ 维子空间中弯曲。

换言之：流形在高维空间中「扭曲」的程度，在某种意义上编码了后续网络层能够通过简单线性投影直接读出多少种关于该特征的不同（非线性）函数。这为「模型为何把简单的一维概念编码成复杂的高维流形」提供了一种功能主义解释——不是因为模型「迫不得已」，而是因为这样做有利于下游计算。

作者随后把这一视角与叠加假说联系起来：由于表征维度远小于潜在特征的数量，模型几乎别无选择，只能让大多数特征在同一个表征空间中稀疏地、近似正交地共享。在这种约束下， $\phi_f$ ——即某个特征对应的编码方向——确实包含恒等函数的「线性可读」成分这一事实，也在一定程度上解释了为何在实际中，简单的线性探针往往出奇地擅长从叠加的表征中「钓出」某个特定特征。

余弦相似度

如果说前面的章节是脚手架，那么这一节就是论文真正的「硬核」贡献，在我看来也是最值得记住的部分。

作者提出了假说 2（余弦相似度反映距离）：局部来看，表示之间的余弦相似度是特征值之间距离平方的某个递减函数：

\mathrm{CosSim}(\phi_f(z), \phi_f(z')) = g_f(d_f(z, z')^2)

对 $g_f$ 的唯一要求是在 0 附近二次可微且满足 $g_f'(0) < 0$ ；除此之外不再施加任何限制。

在假说 1 与假说 2 同时成立的前提下，作者证明了论文的核心结果定理 1：设 $\eta$ 是特征空间 $Z_f$ 中的一条有限长路径， $\gamma$ 是它在流形 $M_f$ 上的对应路径，则

L(\gamma) = \sqrt{-2g_f'(0)} \cdot L(\eta)

用大白话说：流形上最短路径（测地线）的长度与特征空间中对应最短路径的长度严格成正比。也就是说，即使不知道 $g_f$ 的具体形式，只要局部余弦相似度是距离平方的某个光滑递减函数，「沿着表征流形本身行进」的测地距离，就能精确地——只差一个统一的缩放常数——恢复概念空间中的真实距离。

这一结果回应了 Olah 和 Batson 在 2024 年提出的一个悬而未决的猜想：他们曾写道，「特征流形以超出其拓扑所要求的更复杂方式嵌入，其目的或许正是为了实现某个特定的距离度量，这个想法可能相当深刻而重要。」这篇论文实际上用度量几何的严格语言，把这个直觉性的猜想结晶成一个既可证明也可证伪的定理。

证明本身采用了度量几何中「路径长度」的经典定义（多边形逼近和的上确界），核心技巧是对余弦相似度在零点附近做泰勒展开，随后用一系列仔细的三角不等式论证来界定误差项——一段扎实的解析推理（详见附录）。

同胚容易等距困难

理论就位之后，作者回到颜色、年份、日期三个实证案例，检验假说 2 与定理 1。他们设计了两种诊断方法：

直接方法：以散点图绘制「余弦相似度 vs. 距离平方」，观察是否出现局部递减趋势，并用查特吉相关系数 $\xi$ 量化整体的函数依赖程度；
间接方法：检验定理 1 本身——用 k-近邻图估计流形上的测地距离，检查它们是否与特征空间中的测地距离成正比，并用皮尔逊相关系数衡量线性程度。

结果耐人寻味。对于「颜色」和「日期」——两者都天然具有周期结构——一个简单的圆形度量（色相角；一年中的第几天）就能为等距性提供相当有力的支持（日期的皮尔逊相关系数达 0.97）。「年份」却栽了跟头：如果假设年份之间的距离就是 $|x-y|$ （例如 1990 与 2000 相距 10 个单位），经验数据完全不支持这一假说。图 4 显示，越接近「当下」的年份（论文以 GPT-2 的发布年份 2019 为参考点）在流形上被拉得越开——它们的距离被「放大」了。

于是作者做了一个非常优雅的修正：把年份的度量空间换成 $\log(2019 - \text{year})$ 上的欧几里得距离——也就是说，模型编码的或许并不是「日历年」本身，而是对数尺度上的「多久以前」。这个新的度量空间与原年份区间拓扑等价（同胚保持，秩相关仍接近 1），但在这一新度量下检验等距性时，结果从「不支持」翻转为「强烈支持」（查特吉系数 0.84，皮尔逊相关系数 0.99）。

我认为这一节是整篇论文最见洞察力的实证部分：它清晰地表明「同胚」与「等距」是两个完全不同的几何保真度层级。前者只问「形状对不对」；后者问「数值上的距离关系对不对」。一个流形可以与你设想的某个概念空间在拓扑上完全一致，在几何上（距离的具体函数形式）却截然不同。而破解「距离究竟是如何被编码的」这一过程，本身就是对模型如何「理解」时间概念的一次侦察。GPT-2 把「较近的年份」彼此拉得更远，在某种意义上暗示：越接近模型训练截止时间的年份，承载的语义纹理越稠密——新闻和事件挤得更紧——因此被分配了更大的「表征空间预算」。这是一个相当迷人的猜想，尽管论文本身并未深入探讨这一现象背后的因果解释。

柏拉图假说

读这篇论文时，我忍不住要把它和另一篇同样是 2024 年发表、在机器学习社区引发大量讨论的立场性论文放在一起比较——Huh、Cheung、Wang 与 Isola 提出的柏拉图式表征假说（PRH）（ICML 2024）。虽然两篇论文的具体研究对象和方法几乎完全不同，但把它们对照起来读，会发现它们是在同一个大问题的两个不同尺度上工作，而且彼此互补——甚至可以视为一条因果链条上的两个相继环节。

PRH 的核心主张是：架构不同、模态不同（视觉、语言）、训练目标不同的深度网络，随着规模和任务多样性的增大，其内部表征会趋向收敛到一个共享的几何结构。作者把这个被越来越多的模型逐步逼近的假想表征空间，类比为柏拉图式的「理想实在」（理念界）——独立于任何具体实体而存在并超越它们：每个具体模型学到的表征，只是对这个「柏拉图式表征」的一个带有噪声和偏差的投影。其实证证据包括：在处理配对的图文数据时，随着模型变大，图像模型与语言模型测量数据点间距离的方式变得越来越相似；在一批架构和训练方式各异的视觉模型中，两两间的表征相似性系统地上升。他们还提出了一个解释性猜想：这种收敛的驱动力在于，模型在学习过程中被迫逼近数据生成过程所共有的真实统计结构（即「实在」本身）——任务越多样，这种收敛压力就越强。

如果说 PRH 关心的是「在不同模型之间，整个表征空间是否正收敛到一个统一的几何」，那么 Modell、Rubin-Delanchy 和 Whiteley 的这篇论文关心的则是更小、更具体的尺度：在单个模型内部，为什么对应于单个特征（颜色、年份、日期）的子流形会呈现特定的几何形状，这个形状与它所对应的「概念」之间精确的数学关系又是什么？

把两篇论文放在一起，可以读出相当连贯的一条逻辑链：

PRH 提出了一个宏观猜想——不同模型的表征空间正在收敛到一个反映「世界的真实统计结构」的共同几何，而这种收敛的程度可以用「模型间测量数据点距离的一致性」来量化（PRH 论文恰恰使用了核对齐、表征相似性等评估两两距离模式一致性的工具）。但 PRH 本身停留在「存在性」和「收敛趋势」层面，并没有深入一个更基础的问题：在单个模型的表征空间内部，距离本身是如何与概念空间中的「真实」距离相对应的？
本文《大语言模型中表征流形的起源》回答的恰恰是这个更基础、更微观的问题。定理 1 告诉我们：只要局部余弦相似度与特征距离之间存在某种光滑的函数关系（假说 2），表征流形上的测地距离就能精确地——只差一个比例常数——恢复概念空间中的「真实」距离。这就为 PRH 所声称的「模型以某种一致的方式学会测量数据点之间的距离」提供了一个几何机制层面的解释：模型并不是简单地「记住」距离，而是通过把特征映射到特定形状和曲率的流形上，借助该流形上的测地路径隐式地编码了距离结构。
反过来，本文观察到的颜色和日期呈现的圆形结构——以及「颜色按标准色环的色相次序排列」这一具体发现——可以看作对 PRH 的微观印证：色相本身是客观存在于物理世界中的周期结构（可见光的连续光谱，连同人类视网膜三类视锥细胞的响应曲线，共同决定了颜色空间）。如果不同的图像模型和不同的语言模型，互不协调、各自独立地都学到「色相是一个圆」，这恰恰是 PRH 所描述的「不同模型收敛到反映世界真实统计结构的共享表征」的一个具体、可分离、可检验的实例。换言之，PRH 提供了「为什么会收敛」的宏观叙事；本文提供了「收敛之后几何长什么样，这个几何又是如何精确编码语义距离」的微观刻画。

当然，两篇工作之间也存在明显的张力，值得坦诚地指出。PRH 的收敛主张在很大程度上依赖跨模型比较——用典型相关分析、核对齐等工具比较不同模型对同一组数据点两两距离模式的测量方式，这属于「表征之间的关系」的统计范畴。而《大语言模型中表征流形的起源》则从头到尾讨论的是单个模型内部、单个特征子空间内的几何结构，几乎不涉及不同模型的表征是否可比较的问题。也就是说，即便「余弦相似度与测地距离之间的定理」对某个特定模型（例如 GPT-2）成立，也不能直接推出另一个架构完全不同的模型会用同样的方式——同样的度量空间、同样的对数尺度——编码「年份」这个特征。事实上，「年份以对数尺度编码，距离随接近参考年份而不断拉伸」这一具体发现，本身就带有相当程度的模型特异性。GPT-2 的参考点天然设定为其自身的发布年份（2019），这表明这种编码方式很可能与这个特定模型训练语料的时间分布强相关，而不是所有语言模型都收敛到的、普遍的「柏拉图式」距离编码。如果在训练截止时间和语料分布都不同的模型上重复同样的实验，对数尺度和参考点会相应地偏移吗？这其实是一个非常值得后续工作直接研究的问题——而且在某种意义上，它构成了对 PRH 收敛主张在「单个特征的特定几何参数」这一更细粒度上进行经验检验的天然实验设计。

依我之见，把这两篇论文放在一起读，比单独读任何一篇都更有启发：PRH 告诉我们「所有人都在朝同一个方向收敛」，而本文则为刻画「收敛到底收敛到什么、这种收敛如何被严格度量与证伪」提供了数学语言。如果未来有人想在具体特征层面真正检验 PRH 是否成立——例如色相的圆形结构、时间的对数编码，是否会在架构和训练数据各不相同的模型中一致地重现——那么《大语言模型中表征流形的起源》中提出的同胚检验、等距检验（查特吉系数、基于 KNN 的测地距离的皮尔逊相关）就构成一套几乎现成的、标准化的工具箱。这或许正是这篇论文除了自身数学结论之外，最具有普遍可复用性的「副产品」。

结语

读完这篇论文，我想从几个角度给出我的评价。

首先，这是一次难得的把模糊直觉严格化的努力，其主要价值在于提供了语言和工具，而非一个终极答案。机制可解释性领域目前充斥着「看图说话」式的发现——「哦，这个特征看起来像个圆」「这个看起来像树形结构」——却缺少一种统一的数学语言来组织这些观察。把特征定义为度量空间，并把「同胚」与「等距」这两个概念干净地区分开来，本身就是一件重要的概念工具：它迫使研究者把「我觉得这个流形对应那个概念」这种模糊直觉，翻译成具体、可证伪的假说（「这是不是正确的度量空间？」），并提供具体的统计检验程序（查特吉系数、基于 k-近邻图的测地距离）。这种严谨性目前在领域内相对稀缺。

其次，定理 1 是漂亮的数学，但其「证明力」在相当程度上依赖一个相当强的前提——余弦相似度与距离之间存在光滑的函数关系。这一假说本身并非从模型训练动力学或架构设计推导而来，而是作为一个「合理的猜测」被摆上桌面，再加以经验验证。换言之，这篇论文读起来更像「如果这个假说成立，会有哪些漂亮的推论？」，而非「为什么表征空间必然呈现这种结构」（正是在这个意义上，标题中「起源」一词多少有些一厢情愿——论文并没有从优化目标或梯度下降动力学推导出流形为何「涌现」，它在很大程度上是在「流形已经存在」的前提之下，转而刻画它们应当呈现什么样子）。不过这也并非完全是批评：机制可解释性作为一个整体仍处于「观察现象、构建描述性理论」的阶段，真正从第一性原理推导表征几何的工作少之又少。这篇论文至少把「描述性理论」这一步做得比大多数同类工作更严谨。

第三，年份的对数尺度发现是全篇最令人印象深刻、也最引人深思的实证结果。它暗示了一个值得警惕的方法论陷阱：同胚检验（拓扑对不对？）的门槛非常低，很容易得到「看起来对」的东西，但这远不足以说明我们真正理解了模型的编码方式。如果作者止步于「年份沿一条曲线排列，顺序与真实时间顺序一致，秩相关 0.97，说明模型学会了年份的次序」，这个结论将相当空洞——几乎任何单调映射都能做到这一点。真正携带信息量的是等距检验揭示的距离非均匀拉伸，以及它背后的具体假说：以对数尺度编码「距参考点的时间」。这提醒我们，未来类似的可解释性研究不应止步于「形状看起来像不像？」，而应当像本文一样继续追问「距离度量对不对？」——因为只有如此，才能挖掘出模型真正编码的隐含假设。

第四，从应用的角度看，这篇论文对表征引导（steering）研究具有直接的方法论启示，但距离真正可操作的工具还有一段距离。论文在结尾指出，如果能够学习到 $\phi_f$ （从特征到流形的映射），原则上就可以进行更精细、尊重概念内在几何结构的表征编辑——例如要让「日期」特征向前平移半年，应该沿流形的测地线行进，而不是在欧几里得空间中简单加一个向量。这是一个有前景的方向，也与作者呼吁的「流形感知的 SAE」相呼应。但目前这仍停留在概念层面：如何稳健地估计一个高维、带噪声的流形，仍然是一个尚未解决的统计问题——作者在局限部分也坦诚地承认了这一点。

第五，一个可能被低估的贡献，是论文对文本嵌入服务的启示。许多从事 RAG、语义检索和推荐系统的从业者，不加思索地把余弦相似度当作「语义接近度」的度量，很少停下来追问这个数值相似度背后究竟潜藏着什么样的几何结构。这篇论文是一个提醒：余弦相似度确实能忠实地反映「沿着概念空间内在几何路径的距离」——但这是一个局部性质，依赖于假说 2 成立，而且不同特征的几何形状截然不同（圆、线段、对数线段）。把它当作跨特征的、普遍的「语义距离」度量，可能会掩盖大量重要的非线性结构（如颜色例子所示，「大距离下的余弦相似度明显偏离等距关系」）。对于调优基于嵌入的检索系统和异常检测管道的工程师来说，这是一个值得牢记的告诫。

这篇论文并不试图解释所有表征几何现象，也没有交付一个可以投入生产部署的工具。它只是做了一份「数学家的活」：对于一个被广泛观察却缺乏精确定义的现象，搭建一个最小但严格的理论框架，并诚实地把它拿到数据面前，检验它的边界在哪里。在一个日益依赖「炼金术式」经验观察的领域，这种回归第一性原理、愿意清晰陈述假设、完整写出证明、并坦诚承认自身局限的工作，本身就很值得被更多人看到。

如果要我说这篇论文给我留下的最深刻印象，大概就是「年份以对数时间距离编码」这一具体发现。它通过一个极小的例子表明，在向量空间看似平淡的几何背后，或许真的存在着某种接近人类认知直觉的东西：越近的事件越清晰、越可精细区分；遥远的事件则在记忆中被压缩。这或许是机制可解释性研究最迷人的地方：不是证明模型是一块会魔法的黑箱，而是把它内部真正在「思考」的东西，一点一点翻译成我们能够读懂的语言。