📖 machine-learning 的博文
贝尔曼方程及其数学性质
贝尔曼方程(Bellman equation)是动态规划的核心,本质是把一个多阶段的决策问题拆成当前决策 + 剩余子问题的递归关系。它由理查德·贝尔曼在 20 世纪 50 年代提出,是强化学习、最优控制、经济学等领域的基础工具。
最优传输几何概念简论
从 Kantorovich 对偶到 Fisher–Rao 度量、Bregman 散度、核密度估计与标准化流,用同一套分布几何的语言解释为什么分布层面的判据比分类器置信度更稳健。
Dirichlet 分布与证据深度学习
Dirichlet 是单纯形上的分布、多项分布的共轭先验,也是「关于概率的概率」这一二阶对象的自然载体。本文先给出它在定义、矩结构、共轭更新与分裂构造上的完整形式化,神经网络的输出重解释为证据并参数化迪利克雷分布,推导证据深度学习的对数损失等应用。
因果结构模型简论
为什么概率论不足以回答因果问题?本文以 Judea Pearl 的因果推断阶梯为线索,依次展开因果图、结构因果模型与结构方程这三层层层递进的形式化工具,进而讨论因果发现、中介分析、do-演算与前门准则,并对照潜在结果框架与传统结构方程模型,梳理这一体系成立所依赖的假设与适用边界。
高维非凸优化的「鞍点主导」
高维空间中的局部极小值极为罕见——因为一个真正的局部极小值要求所有方向都向上弯曲,也就是 Hessian 矩阵的所有特征值都必须为正。而高维空间里,随机的临界点几乎总有某个方向可以向下走,也就是鞍点。这正是为什么神经网络训练更像是「逃离鞍点」的游戏,而不是「跳出局部最优」的游戏。