线性代数（基础），—— 线性代数（李永乐）速览，—— 吴恩达机器学习笔记，—— 机器学习周志华，---，向量与矩阵运算，定义，运算，矩阵乘法，transpose转置，inverse逆，SVD分解，---，向量范数（向量的长度），p-范数 $||\mathbf{x}||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}$，$L_0$范数，$||\mathbf{x}||_0 = \sum_{i=1}^n [x_i \neq 0]$，向量中非零元素的个数，$L_1$范数，$||\mat

案板上的烟火，总藏在家常面食的香气里，裹挟着专属的温暖时光，我国南北家常面食种类丰富：北方的手擀面筋道爽滑，揉面擀面的节奏里满是生活章法；饺子、包子裹着鲜馅，是阖家团圆时的餐桌主角；松软的馒头、花卷，是日常三餐的踏实陪伴，南方的阳春面清鲜入味，馄饨皮薄馅嫩，甜香的发糕、软糯的汤圆，承载着地域里的烟火温情，每一种面食，都连着家人的手艺与牵挂，是寻常日子里最动人的温暖注脚。

清晨的厨房总是被烟火气裹着——铝锅咕嘟冒泡，细密的蒸汽顺着锅盖缝隙钻出来，混着葱花的鲜、酱油的香，飘在每一个普通的日子里，对于中国人来说，家常面食从来不是简单的果腹之物，它是案板上揉出来的牵挂，是锅里煮出来的团圆,是刻在味蕾上的家的模样。

最忘不了的是妈妈做的热汤面，天刚亮她就起来，案板上撒一把面粉，把醒好的面团擀成薄薄的一张，再叠起来切成宽窄均匀的细条，水开了，面条“哗啦”下锅，煮得软乎乎的，捞进兑好酱油、香油和葱花的汤碗里，再卧一个溏心蛋，连汤带面扒拉进嘴里，胃里暖得能化开一整个冬天的寒，小时候总嫌不够吃，妈妈就笑着再添一勺面汤，说“汤宽才养人”，后来在外漂泊，尝过各种网红面馆的招牌面，却总觉得少了点什么——原来少的，是揉面时指尖的温度,是汤里藏着的细碎叮嘱。

0$，所有特征值$\lambda_i > 0$，$\mathbf{A}$是对称矩阵且$\mathbf{A}^T = \mathbf{A}$，半正定矩阵$\mathbf{A}$，对于任意向量$\mathbf{x}$，有$\mathbf{x}^T \mathbf{A} \mathbf{x} \geq 0$，所有特征值$\lambda_i \geq 0$，---，特征值与特征向量，定义，对于$n\times n$矩阵$\mathbf{A}$，如果存在数$\lambda$和非零向量$\mathbf{v}$，使得，$\mathbf{A}\mathbf{v} = \lambda \mathbf{v}$，则$\lambda$是$\mathbf{A}$的特征值，$\mathbf{v}$是$\mathbf{A}$的对应于$\lambda$的特征向量，特征多项式，$\det(\mathbf{A} - \lambda \mathbf{I}) = 0$，$\det$是行列式，解这个方程得到特征值$\lambda$，特征向量的性质，- 特征向量$\mathbf{v}$是齐次线性方程组$(\mathbf{A} - \lambda \mathbf{I})\mathbf{v} = \mathbf{0}$的非零解，- 不同特征值对应的特征向量线性无关，- 对称矩阵的特征值都是实数，且不同特征值对应的特征向量正交，谱分解，对于对称矩阵$\mathbf{A}$，存在正交矩阵$\mathbf{Q}$和对角矩阵$\mathbf{\Lambda}$，使得，$\mathbf{A} = \mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^T$，其中$\mathbf{\Lambda}$的对角线元素是$\mathbf{A}$的特征值，$\mathbf{Q}$的列是$\mathbf{A}$的单位正交特征向量，---，奇异值分解（SVD），定义，对于$m\times n$矩阵$\mathbf{A}$，分解为，$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$，其中，- $\mathbf{U}$是$m\times m$正交矩阵，列向量是$\mathbf{A}\mathbf{A}^T$的单位正交特征向量（左奇异向量），- $\mathbf{V}$是$n\times n$正交矩阵，列向量是$\mathbf{A}^T\mathbf{A}$的单位正交特征向量（右奇异向量），- $\mathbf{\Sigma}$是$m\times n$对角矩阵，对角线元素$\sigma_i = \sqrt{\lambda_i}$，$\lambda_i$是$\mathbf{A}^T\mathbf{A}$的非零特征值（奇异值），按降序排列，性质，- 奇异值都是非负实数，- 矩阵$\mathbf{A}$的秩等于非零奇异值的个数，- $\mathbf{A}$的Frobenius范数$||\mathbf{A}||_F = \sqrt{\sum_{i=1}^r \sigma_i^2}$，其中$r$是$\mathbf{A}$的秩，应用，- 降维，取前$k$个更大的奇异值，得到$\mathbf{A}$的低秩近似$\mathbf{A}_k = \mathbf{U}_k \mathbf{\Sigma}_k \mathbf{V}_k^T$，- 伪逆，$\mathbf{A}^+ = \mathbf{V} \mathbf{\Sigma}^+ \mathbf{U}^T$，其中$\mathbf{\Sigma}^+$是$\mathbf{\Sigma}$的伪逆，即对角线元素为$\sigma_i^{-1}$（$\sigma_i\neq0$），其余为0，- 数据压缩、图像去噪、推荐系统等，---，矩阵分解，LU分解，$\mathbf{A} = \mathbf{L} \mathbf{U}$，其中$\mathbf{L}$是下三角矩阵，$\mathbf{U}$是上三角矩阵，用于解线性方程组$\mathbf{A}\mathbf{x} = \mathbf{b}$，QR分解，$\mathbf{A} = \mathbf{Q} \mathbf{R}$，其中$\mathbf{Q}$是正交矩阵，$\mathbf{R}$是上三角矩阵，用于求解最小二乘问题$\min ||\mathbf{A}\mathbf{x} - \mathbf{b}||_2$，Cholesky分解，对于正定矩阵$\mathbf{A}$，分解为，$\mathbf{A} = \mathbf{L} \mathbf{L}^T$，其中$\mathbf{L}$是下三角矩阵，对角线元素为正，用于解线性方程组和计算行列式，---，线性方程组，定义，$\mathbf{A}\mathbf{x} = \mathbf{b}$，$\mathbf{A}$是$m\times n$矩阵，$\mathbf{x}$是$n$维向量，$\mathbf{b}$是$m$维向量，解的存在性，- 当$\text{rank}(\mathbf{A}) = \text{rank}([\mathbf{A} \mid \mathbf{b}])$时，方程组有解，- 当$\text{rank}(\mathbf{A}) = \text{rank}([\mathbf{A} \mid \mathbf{b}]) = n$时，有唯一解，- 当$\text{rank}(\mathbf{A}) = \text{rank}([\mathbf{A} \mid \mathbf{b}]) < n$时，有无穷多解，- 当$\text{rank}(\mathbf{A}) < \text{rank}([\mathbf{A} \mid \mathbf{b}])$时，无解，解的结构，通解 = 特解 + 齐次解（$\mathbf{A}\mathbf{x} = \mathbf{0}$的解），求解方法，- 高斯消元法，- LU分解法，- 逆矩阵法（当$\mathbf{A}$是可逆方阵时，$\mathbf{x} = \mathbf{A}^{-1}\mathbf{b}$），- 伪逆法（当$\mathbf{A}$不是方阵或不可逆时，$\mathbf{x} = \mathbf{A}^+\mathbf{b}$，得到最小二乘解），---，最小二乘法，定义，对于超定方程组$\mathbf{A}\mathbf{x} = \mathbf{b}$（$m > n$），求$\mathbf{x}$使得，$\min_{\mathbf{x}} ||\mathbf{A}\mathbf{x} - \mathbf{b}||_2^2$，解法，- 正规方程，$\mathbf{A}^T\mathbf{A}\mathbf{x} = \mathbf{A}^T\mathbf{b}$，解得$\mathbf{x} = (\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b}$（当$\mathbf{A}^T\mathbf{A}$可逆时），- QR分解法，$\mathbf{A} = \mathbf{Q}\mathbf{R}$，解得$\mathbf{x} = \mathbf{R}^{-1}\mathbf{Q}^T\mathbf{b}$，- 梯度下降法（迭代法），几何意义，$\mathbf{A}\mathbf{x}$是$\mathbf{A}$的列空间中的向量，$\mathbf{A}\mathbf{x} - \mathbf{b}$是$\mathbf{b}$到$\mathbf{A}$的列空间的距离，最小二乘解是$\mathbf{b}$在$\mathbf{A}$的列空间上的正交投影，---，矩阵的迹，定义，$\text{tr}(\mathbf{A}) = \sum_{i=1}^n a_{ii}$，矩阵对角线元素之和，性质，- $\text{tr}(\mathbf{A} + \mathbf{B}) = \text{tr}(\mathbf{A}) + \text{tr}(\mathbf{B})$，- $\text{tr}(c\mathbf{A}) = c\text{tr}(\mathbf{A})$，$c$是常数，- $\text{tr}(\mathbf{A}\mathbf{B}) = \text{tr}(\mathbf{B}\mathbf{A})$（即使$\mathbf{A}\mathbf{B}$和$\mathbf{B}\mathbf{A}$的维度不同，当$\mathbf{A}$是$m\times n$，$\mathbf{B}$是$n\times m$时，$\text{tr}(\mathbf{A}\mathbf{B}) = \text{tr}(\mathbf{B}\mathbf{A})$），- $\text{tr}(\mathbf{A}^T) = \text{tr}(\mathbf{A})$，- $\text{tr}(\mathbf{A}^T\mathbf{A}) = \sum_{i=1}^m \sum_{j=1}^n a_{ij}^2 = ||\mathbf{A}||_F^2$，- $\text{tr}(\mathbf{A}) = \sum_{i=1}^n \lambda_i$，$\lambda_i$是$\mathbf{A}$的特征值，---，矩阵的行列式，定义，对于$n\times n$矩阵$\mathbf{A}$，行列式$\det(\mathbf{A})$是一个标量，定义为，$\det(\mathbf{A}) = \sum_{\sigma} \text{sgn}(\sigma) \prod_{i=1}^n a_{i,\sigma(i)}$，其中$\sigma$是$1$到$n$的排列，$\text{sgn}(\sigma)$是排列的符号（偶排列为1，奇排列为-1），性质，- $\det(\mathbf{I}) = 1$，- $\det(\mathbf{A}^T) = \det(\mathbf{A})$，- $\det(\mathbf{A}\mathbf{B}) = \det(\mathbf{A})\det(\mathbf{B})$，- 若$\mathbf{A}$可逆，则$\det(\mathbf{A}^{-1}) = \det(\mathbf{A})^{-1}$，- $\det(c\mathbf{A}) = c^n \det(\mathbf{A})$，$c$是常数，- 若$\mathbf{A}$是奇异矩阵（不可逆），则$\det(\mathbf{A}) = 0$，- 若$\mathbf{A}$是上（下）三角矩阵，则$\det(\mathbf{A}) = \prod_{i=1}^n a_{ii}$，- $\det(\mathbf{A}) = \prod_{i=1}^n \lambda_i$，$\lambda_i$是$\mathbf{A}$的特征值，---，矩阵的秩，定义，矩阵$\mathbf{A}$的秩$\text{rank}(\mathbf{A})$是$\mathbf{A}$的列（行）向量的更大线性无关组的向量个数，性质，- $0 \leq \text{rank}(\mathbf{A}) \leq \min(m,n)$，$\mathbf{A}$是$m\times n$矩阵，- $\text{rank}(\mathbf{A}) = \text{rank}(\mathbf{A}^T)$，- $\text{rank}(\mathbf{A}\mathbf{B}) \leq \min(\text{rank}(\mathbf{A}), \text{rank}(\mathbf{B}))$，- 若$\mathbf{A}$可逆，则$\text{rank}(\mathbf{A}\mathbf{B}) = \text{rank}(\mathbf{B})$，$\text{rank}(\mathbf{B}\mathbf{A}) = \text{rank}(\mathbf{B})$，- $\text{rank}(\mathbf{A} + \mathbf{B}) \leq \text{rank}(\mathbf{A}) + \text{rank}(\mathbf{B})$，- $\text{rank}(\mathbf{A}) = \text{rank}(\mathbf{A}^T\mathbf{A}) = \text{rank}(\mathbf{A}\mathbf{A}^T)$，---，投影矩阵，定义，投影矩阵$\mathbf{P}$满足$\mathbf{P}^2 = \mathbf{P}$，$\mathbf{P}^T = \mathbf{P}$（正交投影），对于向量$\mathbf{b}$，$\mathbf{P}\mathbf{b}$是$\mathbf{b}$在$\mathbf{P}$的列空间上的正交投影，正交投影矩阵，设$\mathbf{A}$的列空间为$\text{Col}(\mathbf{A})$，则$\mathbf{b}$在$\text{Col}(\mathbf{A})$上的正交投影矩阵为，$\mathbf{P} = \mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T$，投影向量为$\hat{\mathbf{b}} = \mathbf{P}\mathbf{b}$，误差向量为$\mathbf{e} = \mathbf{b} - \hat{\mathbf{b}} = (\mathbf{I} - \mathbf{P})\mathbf{b}$，与$\text{Col}(\mathbf{A})$正交，---，线性变换，定义，线性变换$T: \mathbb{R}^n \to \mathbb{R}^m$满足，$T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})$，$T(c\mathbf{u}) = cT(\mathbf{u})$，其中$\mathbf{u}, \mathbf{v} \in \mathbb{R}^n$，$c$是常数，矩阵表示，线性变换$T$可以用矩阵$\mathbf{A}$表示为$T(\mathbf{x}) = \mathbf{A}\mathbf{x}$，其中$\mathbf{A}$的第$j$列是$T(\mathbf{e}_j)$，$\mathbf{e}_j$是$\mathbb{R}^n$的第$j$个标准基向量，线性变换的性质，- 线性变换的核$\ker(T) = \{\mathbf{x} \mid T(\mathbf{x}) = \mathbf{0}\}$是$\mathbb{R}^n$的子空间，$\text{dim}(\ker(T)) = n - \text{rank}(\mathbf{A})$，- 线性变换的值域$\text{range}(T) = \{T(\mathbf{x}) \mid \mathbf{x} \in \mathbb{R}^n\}$是$\mathbb{R}^m$的子空间，$\text{dim}(\text{range}(T)) = \text{rank}(\mathbf{A})$，- 若$T$是可逆线性变换，则$\mathbf{A}$是可逆矩阵，$T^{-1}(\mathbf{y}) = \mathbf{A}^{-1}\mathbf{y}$，---，应用，机器学习中的线性代数，- 线性回归，最小二" />

馒头和花卷，是北方人家餐桌上的常客，周末的下午，妈妈会把发好的面团反复揉，直到面团光滑得像婴儿的皮肤，然后分成一个个小剂子，有的搓成圆滚滚的馒头，有的卷上葱花和油盐做成花卷，放进蒸锅，大火烧开后转小火慢慢蒸，厨房里开始弥漫着麦香，那是面粉发酵后最淳朴的味道，等掀开锅盖的瞬间，馒头一个个胖嘟嘟地立在篦子上，按一下还能弹回来，掰开花卷，葱花的香气混着麦香扑进鼻子，就着咸菜和粥吃,比任何山珍海味都踏实。

逢年过节，饺子一定是主角，一家人围在餐桌前，爸爸擀皮，妈妈和馅，我和妹妹负责包，手法笨拙得把饺子捏成了“小元宝”，馅料总是变着花样：韭菜鸡蛋、猪肉白菜、虾仁三鲜，每一种都藏着季节的味道，煮饺子时，水开三次，饺子浮起来，捞进盘子里，蘸着醋和蒜吃，咬一口流出鲜美的汤汁，奶奶总说，饺子要趁热吃，一家人围在一起，才叫团圆，如今奶奶不在了，可每年过年，我们还是会按照她的配方调馅，仿佛她还坐在桌子旁边,笑着看我们把饺子包得歪歪扭扭。

后来我也学着自己做面食，之一次尝试擀面条，面团硬得擀不动，费了九牛二虎之力才擀成厚薄不均的面皮，切出来的面条宽的宽、窄的窄，煮出来却意外地香，揉面时胳膊酸得抬不起来，可当一碗热气腾腾的面条端上桌，看着家人吃得满足，突然懂了妈妈当年的心情——家常面食的味道，从来都不在调料的复杂，而在揉面时的用心，在等待时的期待,在分享时的温暖。

案板上的面粉被一次次揉开，锅里的水一次次沸腾，家常面食就这样在岁月里轮回，它是清晨唤醒味蕾的热汤面，是午后填满肚子的馒头，是节日里包裹团圆的饺子，是漂泊在外时最牵挂的味道，它没有精致的摆盘，没有昂贵的食材，却用最朴素的方式，把家的温暖，揉进每一根面条、每一个馒头、每一只饺子里，让我们无论走多远，只要想起那口熟悉的味道，就知道,家一直都在。