校园网站建设网/seo基础知识考试

本节是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第六讲 矩阵的列空间和零空间（lecture 6 Column Space and Nullspace）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一讲，第二讲，第三讲，第四讲，第五讲），后面的章节会按照视频顺序不断更新~

lecture 6 Column Space and Nullspace

一. 向量空间和子空间（Vector spaces and Subspaces）

1. Vector space requirements

$v+w$ and $cv$ are in the space;（加法和数乘都是封闭的）；

all combinations $cv+dw$ are in the space.（线性组合是封闭的）；

综上，即：所有的线性组合都在空间中。

Example 1 ： 在三维空间${\mathcal{R}}^3$中，它本身${\mathcal{R}}^3$是一个向量空间.

2. Subspaces

子空间必须包含原点；

Example 2 ：在三维空间${\mathcal{R}}^3$中，经过原点的平面（P）是${\mathcal{R}}^3$的子空间，经过原点的直线（L）是${\mathcal{R}}^3$的子空间；

1） 子空间的并集（union）

——假设取两个子空间（如P和L）的并，即P∪L = all vectors in P or L or both，那么P∪L是子空间吗？

  此问题等同于：平面P中的向量和直线L中的向量放在一起，得到的向量集合是子空间吗？

——不是。因为加法不封闭，无法满足向量空间的条件（取P中某向量和L中某向量相加，结果不在直线或平面上，即不在两者的并集上）。

2） 子空间的交集 （intersection）

——假设取两个子空间（如P和L）的交集，即P∩L = all vectors that are in both P and L，则P∩L是子空间吗？

——对于Example 2来说，交集只有零点，因此是。但是，如果推广到任意两个子空间的交集，假设任意两个子空间S和T，则S∩T仍然是子空间。

二. 矩阵的列空间（Column space of $A$）

1. 如何构造的矩阵列空间

Example 2 ：
$$A=\left[\begin{array}{lll}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$$
——$A$的列向量均为${\mathcal{R}}^4$中的四维向量，因此$A$的列空间（记作$C(A)$）是${\mathcal{R}}^4$的子空间。现已知该子空间中已经包含$A$中的三个列向量，则该如何将其扩充为子空间？

——只要取所有列的线性组合即可，即$A$的列空间由所有列的线性组合构成，即为一个子空间，这是包含这三个列向量的最小子空间。

2. 矩阵与线性方程组的联系

将矩阵与线性方程组联系起来，因为抽象的定义背后有实际的目的。

——Does $Ax=b$ always have a solution for every $b$?

——No. 因为 $Ax=b$ 有四个方程，但只有三个未知数，具体形式如下：
$$Ax=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\\ b_4\end{array}\right]=b$$  方程组不总是有解，因为3个列向量的线性组合无法充满整个四维空间，因此可能有一大堆$b$向量不是这3个列向量的线性组合。另外，一般情况下，四个方程三个未知数是无解的，但是有时是有解的，那么

——Big question: 什么样的右侧向量$b$才能让方程组 $Ax=b$ 有解？

  Which vectors $b^{\prime }s$ allow this system $Ax=b$ to be solved?？

——很显然，有几种明显的有解的情况：

1. 当$b=\left[\begin{array}{l}0\\ 0\\ 0\\ 0\end{array}\right]$时，方程组为$Ax=0$永远有解，即$x=\left[\begin{array}{l}0\\ 0\\ 0\end{array}\right]$;
2. 当$b=\left[\begin{array}{l}1\\ 2\\ 3\\ 4\end{array}\right]$时，解为$x=\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right]$；
3. 当$b=\left[\begin{array}{l}1\\ 1\\ 1\\ 1\end{array}\right]$时，解为$x=\left[\begin{array}{l}0\\ 1\\ 0\end{array}\right]$；
4. 当$b=\left[\begin{array}{l}2\\ 3\\ 4\\ 5\end{array}\right]$时，解为$x=\left[\begin{array}{l}0\\ 0\\ 1\end{array}\right]$；

  综上，$Ax=b$有解，当且仅当右侧向量$b$ 属于$A$的列空间，即只有$b$是各列的线性组合时，方程组$Ax=b$才有解（$x$的各元素是相应的线性组合系数）。

3. 矩阵各列的相关性（主列）

——矩阵$A$的三列线性无关吗？（Are the columns of A independent?）

  此问题等同于：如果将这三列进行线性组合，是否每一列对组合都有贡献？即能否去掉某一列，得到同样的列空间？

——可以。比如，我们可以去掉第三列，因为第三列等于前两列之和，我们已经有了前两列的线性组合，加入第三列后，对向量空间毫无影响，则前两列成为“主列”，而第三列不是主列。

——可以只去掉列一而不是列三吗？

——可以。

综上， Example 2中矩阵的列空间可以描述为${\mathcal{R}}^4$中的二维子空间。

关于主列的选取，一般是优先考虑靠前的线性无关向量，则可以丢掉靠后的线性相关向量而不影响向量空间。

三. 矩阵的零空间（Nullspace of A）

1. 零空间定义

零空间（记作$N(A)$）不包含右侧向量$b$，它只包含$x$，即零空间指的是：$Ax=0$ 的所有解$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$。

2. 零空间与列空间的区别&如何构造零空间

零空间和列空间都关心矩阵各列的线性组合，但是列空间关心的是组合结果，而零空间更关心线性组合的系数。

Example 3：（仍然延用Example 2中的矩阵为例）
$$Ax=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\end{array}\right]$$
由于$x$包含三个分量，因此零空间是${\mathcal{R}}^3$的子空间，因此解向量$x$属于${\mathcal{R}}^3$, 而列空间属于${\mathcal{R}}^4$。

显然，$\left[\begin{array}{r}0\\ 0\\ 0\end{array}\right]$是方程组的解，不管矩阵是什么，零空间显然包含0（零空间也是向量空间），另外，$\left[\begin{array}{r}1\\ 1\\ -1\end{array}\right]$也是方程组的解；

综上，方程组$Ax=0$ 的所有解为：$c\left[\begin{array}{r}1\\ 1\\ -1\end{array}\right]$，即使得矩阵$A$的列的线性组合等于$0$的所有可能情况，该解在几何上是一条直线，因此，此零空间是一条${\mathcal{R}}^3$ 中的直线。

3. 证明零空间是向量空间

——为什么零空间可以称之为“空间”，即为什么零空间是向量空间？

  问题等同于：Check that the solutions to $Ax=0$ always give a subspace.

——只需证明：对任意一个解$v$和另一个解$w$, 他们的和仍然是解（加法封闭）.即：If $Av=0$ and $Aw=0$, then $A(v+w)=0$，即若$v$在零空间中，$w$在零空间中，那么$v+w$也在零空间中，显然这是成立的，因为$A(v+w)=Av+Aw=0+0=0$。同理，可以证明：如果$Av=0$，那么$A$乘以$v$的任意倍数仍然等于$0$，即$A(12v)=12Av=0$。

4. 理解向量空间

需理解什么是向量空间的关键？（what’s the point of a vector space? ）

Example 4：（将Example 3中的例子换一个右侧向量$b$）
$$Ax=\left[\begin{array}{lll}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{l}1\\ 2\\ 3\\ 4\end{array}\right]=b$$
要求此方程组的解，很显然，$\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right]$是一个解，但是它自己不能构成向量空间。现在右侧向量已经不是$0$了，因此现在考虑的不是零空间。有以下两个问题：

1. 如果有其他解，那么他们能够成子空间吗？

   现在考虑的是${\mathcal{R}}^3$中所有满足$Ax=b（b\ne 0）$的解$x$构成向量空间吗？

   显然不构成。因为解中不包含$0$，连基本要求都达不到，因此不是向量空间。

2. 解是什么样的？

   除了$\left[\begin{array}{l}1\\ 0\\ 0\end{array}\right]$，还有$\left[\begin{array}{l}0\\ -1\\ 1\end{array}\right]$等，因此解有很多个，但他们不构成子空间 ，在几何上，它其实是一个不穿过原点的平面或者是一条不穿过原点的直线，在本例中，解构成的是一条不穿过原点的直线。

向量空间需要穿过原点，如果考虑的是$x$，那么$x$必须是$Ax=0$的解。

四. 总结

构建两种空间的方法：

1. 对于列空间，通过取矩阵各列的线性组合，构造出子空间（从向量出发，通过线性组合构造子空间）。

2. 对于零空间，一开始并不知道零空间中有什么向量，我们需要自己找，已知的信息只有向量必须满足的方程组，即通过让$x$满足特定条件来得到子空间。