参考附录6 分钟阅读

数学记号与基础

本篇目录

正文使用基础代数、有限维线性代数、导数与离散概率。本附录规定共用运算和记号，各篇特有符号在使用处另行定义。下列反复出现的符号在全系列中保留固定用途。

标量宽度 $W$ 与权重矩阵 $\mathbf{W}$ 同时通过字形与形状区分。其他矩阵保留常用字母，例如 $A,B,E$ ；对象首次出现时注明具体形状。

独立公式末尾不放句子标点，前面的引导文字以冒号结束，后面的解释另起一句。公式内部用于分隔数学声明的逗号仍属于记号本身。

1. 向量与矩阵形状

单个向量采用列向量 $x\in\mathbb R^d$ ， $x^\top$ 表示其转置。对于 $A\in\mathbb R^{m\times d}$ ，乘积 $y=Ax\in\mathbb R^m$ 按坐标定义为：

y_i=\sum_{j=1}^d A_{ij}x_j

对于 $A\in\mathbb R^{m\times d}$ 、 $B\in\mathbb R^{d\times n}$ ，矩阵乘法采用同样的求和规则：

(AB)_{ik}=\sum_{j=1}^d A_{ij}B_{jk},\qquad AB\in\mathbb R^{m\times n}

相乘矩阵的内部尺寸必须匹配，且矩阵乘法通常不满足交换律。 $Ax+b$ 为仿射映射，当 $b=0$ 时为线性映射。 $I_d$ 表示 $d\times d$ 单位矩阵， $\mathbf1_n$ 表示全一向量， $u\odot v$ 表示逐项相乘。

批量特征向量按行排列为 $X\in\mathbb R^{n\times d}$ ，对应预测为 $Xw+b\mathbf1_n$ 。图像张量与序列张量需要分别声明轴顺序。

欧氏范数及其平方为：

\|x\|_2=\sqrt{\sum_jx_j^2},\qquad \|x\|_2^2=x^\top x

矩阵秩是线性无关列的最大数量，零空间定义为 $\ker A=\{v:Av=0\}$ 。对于具有 $d$ 列的矩阵，秩与零空间维数满足 $d=\operatorname{rank}(A)+\dim\ker A$ 。

这一关系可通过基的扩展说明：先选取零空间的一组基，再将其扩展为整个输入空间的基。新增基向量经过 $A$ 映射后张成像空间，且线性无关；否则，它们的某个非平凡组合将落入零空间，与扩展后的基线性无关矛盾。因此，新增向量的数量就是矩阵秩，与零空间基向量数量相加得到 $d$ 。

正交表示点积为零。对于正交向量 $u,v$ ，展开 $(u+v)^\top(u+v)$ 后交叉项消失，得到 $\|u+v\|_2^2=\|u\|_2^2+\|v\|_2^2$ 。

标量导数由差商极限定义：

f'(t)=\lim_{h\to0}\frac{f(t+h)-f(t)}h

对于平方函数， $((t+h)^2-t^2)/h=2t+h$ ，极限为 $2t$ 。偏导数 $\partial J/\partial\theta_j$ 表示改变一个坐标、保持其余坐标不变时的导数；这些偏导数组成列梯度 $\nabla J$ 。

对于 $y=f(x)$ ，雅可比矩阵的第 $i$ 行、第 $j$ 列为 $\partial y_i/\partial x_j$ 。标量损失满足：

\frac{\partial \mathcal L}{\partial x_j}=\sum_i\frac{\partial \mathcal L}{\partial y_i}\frac{\partial y_i}{\partial x_j},\qquad \nabla_xL=J_f(x)^\top\nabla_yL

反向传播按照与前向计算相反的顺序应用该规则。导数描述局部敏感性；有限距离的参数更新还需要规定步长。

自然指数为 $e^t$ ，其逆函数为定义在 $t>0$ 上的 $\log t$ 。恒等式 $\log(ab)=\log a+\log b$ 将概率乘积转换为求和。结合导数 $(e^t)'=e^t$ 、 $(\log t)'=1/t$ 与链式法则，可得到 softmax 损失的梯度。

具体而言，对于 $\ell=-z_y+\log\sum_j e^{z_j}$ ，第二项对 $z_k$ 的导数为 $e^{z_k}/\sum_j e^{z_j}$ ，第一项贡献 $-\mathbf1[k=y]$ ，两者相加得到 $p_k-\mathbf1[k=y]$ 。

有限离散分布满足 $p_i\ge0$ 、 $\sum_i p_i=1$ 。对于取值 $a_i$ ，期望为 $\mathbb E[a]=\sum_i p_i a_i$ 。这一按概率加权的量不同于已观察样本的经验平均。

当 $p(b)>0$ 时，条件概率为 $p(a\mid b)=p(a,b)/p(b)$ 。整理得到 $p(a,b)=p(a\mid b)p(b)$ ，重复应用即可分解序列概率，无需假定各位置相互独立。

方差定义为 $\operatorname{Var}(Z)=\mathbb E[(Z-\mathbb EZ)^2]=\mathbb E[Z^2]-(\mathbb EZ)^2$ 。独立性属于额外假设，例如计算样本平均的方差时，可以据此消除协方差项。

指示量 $\mathbf1[\text{condition}]$ 在条件成立时为一，否则为零； $\lfloor t\rfloor$ 表示不大于 $t$ 的最大整数。数组位置与词元 ID 在明确说明处从零编号，样本号与层号则可以从一开始。

记号 $r(\Delta)=o(\|\Delta\|)$ 表示非零位移趋近零时， $r(\Delta)/\|\Delta\|\to0$ 。这一表达规定局部剩余项，并不允许在大步长下直接忽略它。经过舍入的小数属于近似值；推导需要时保留精确分数或表达式。