📖 Blogs of machine-learning
魏尔斯特拉斯理论下的 UAT 证明
UAT(通用逼近定理)的核心要旨是:神经网络能逼近任何连续函数,而连续函数又可用多项式逼近(魏尔斯特拉斯定理)。
张量 Tensor 简述
向量是箭头,对偶向量是标尺——它们的配对产生不变的标量。张量是带多个可填充槽位的线性机器,化解了「向量进向量出」与「输出标量」之间的悖论。度量张量连接二者,使长度与能量保持坐标不变。
Fréchet 均值原型
Fréchet 均值原型是度量空间中使到所有数据点距离平方和最小的中心点。它将求平均的运算从平坦向量空间推广到任意弯曲空间或复杂对象。
函数变化:梯度、雅可比和海塞矩阵
三者递进关系体现在:海塞矩阵是梯度的雅可比矩阵。即先对函数求一阶得梯度,再将梯度视为新的向量函数求一阶雅可比,自然就得到了二阶海塞。从这个角度看,雅可比是求导算子的矩阵化,而海塞是这一过程的二次应用。
零曲率与正曲率空间中的维数灾难
维数灾难并非某种特定的几何结构,而是由高维空间内在性质所引发的一类现象。