深度学习入门3-线性代数-单位矩阵和逆矩阵
主要学习单位矩阵、逆矩阵、生成子空间、线性相关的概念和性质。
单位矩阵
单位矩阵是沿主对角线的元素都为1,其他元素都为0的矩阵。它的性质是向量与其相乘后的结果与原向量相等。下面是一个单位矩阵的示例。
$I_3 = \begin{bmatrix} 1\ 0\ 0\0\ 1\ 0\0\ 0\ 1\end{bmatrix}$
逆矩阵
如果一个矩阵$\bf A$与另一个矩阵$\bf B$的标准乘积是一个单位矩阵,则互为逆矩阵。
数学表达式为 $\bf AB = BA = I_n$,其中$\bf I_n$为n阶单位矩阵。
矩阵$\bf A$的逆矩阵记为$\bf A^{-1}$。
逆矩阵的一个性质:若$\bf Ax=b$,则$\bf x= A^{-1}b$。
生成子空间
再考虑$\bf Ax=b$,$\bf A$可以看做是一组列向量,$\bf A$与$\bf x$的乘积的含义可以理解为沿着每一个列向量$A_1$走多远($x_1$)能到达$\bf b$。每一种$\bf x$的取值,得到了一个不同的组合,这个组合称之为线性组合,这些不同的线性组合在一起称之为生成子空间。
确定$\bf Ax=b$是否有解,就是在确定是否存在一个子空间,使得$\bf b$在这个子空间中,这个子空间称为值域或者列空间。
线性相关
在列空间$\bf A$中,如果一个列向量可以由其他列向量线性组合而来,则称为线性相关 。如果每一个列向量都不能由其他向量组合而来,则称为线性无关。
例如:
在三维欧几里得空间R3的三个向量(1, 0, 0),(0, 1, 0)和(0, 0, 1)线性无关。但(2, −1, 1),(1, 0, 1)和(3, −1, 2)线性相关,因为第三个是前两个的和。
方阵
一个矩阵如果m=n,则称为方阵。
奇异方阵
一个列向量线性相关的方阵,称为奇异方阵,反之称为非奇异方阵。
定理:可逆方阵就是非奇异方阵。