(请替换错误的帖子从昨天,11月28日修正版。)

这是一个非常短的线性代数课程。奇异值分解提供了一个自然基础,吉尔斯特朗的四个基本的子空间。

屏幕截图的吉尔斯特朗麻省理工学院/ MathWorks视频讲座,“线性代数”的大局。

内容

吉尔斯特朗

吉尔斯特朗告诉我,他开始考虑线性代数的四种基本子空间在1970年代当他写的第一版教科书,介绍线性代数。第五版,去年5月,出版的空间特性在封面上。

这个概念是在他的一项核心内容视频讲座麻省理工学院课程18.06。它甚至还发现到新视频系列关于常微分方程,他和我做了麻省理工学院和MathWorks。他的论文引用包含在notes 18.06所示。

四子空间

假设是一个美元美元——美元- n矩阵映射向量美元$ R ^ n $ $ R ^ m $的向量。四种基本的子空间与美元美元,两个在R ^ n和两个美元在R ^美元美元,是:

行空间和零空间正交,跨越所有R ^ n美元。列空间和左零空间也正交彼此跨越所有R ^美元美元。

维度和级别。

的维的一个子空间是线性无关的向量的数量需要跨越空间。线性代数基本定理是

换句话说,线性无关的行数等于线性独立的列的数量。这似乎是显而易见的,但它实际上是一个微妙的需要证明的事实。

的排名这个数是一个矩阵的线性无关的行或列。

奇异值分解

的天然基地提供的四种基本子空间是圣言,奇异值分解,美元美元。

$ $ = U \σV ^ T $ $

的矩阵U和V美元美元正交。

$ $ ^ T U = I_m \ \ V ^ T V = I_n $ $

你能想到的正交矩阵的多维概括二维旋转。矩阵\σ是美元对角,所以它唯一的非零元素是在主对角线上。

这些矩阵的形状和大小是很重要的。矩阵一美元是矩形,说m行和n列;美元美元U等于美元,一美元的行数一样;V也是美元广场,与相同数量的列一美元;和$ \σ是相同的大小美元美元。这里是这个方程的照片当一个又高又瘦,美元因此m > n美元。的对角元素\σ是美元奇异值,显示为蓝色的点。所有其他的元素\σ是0美元。

迹象和排序的列U和V美元美元总是会被这奇异值的非负和降序排列。

对于任何对角矩阵\σ美元一样,很明显,排名,这是独立的行或列的数量,只是非零对角元素的数量。

在MATLAB中,圣言会计算的语句。

σ[U, V] =圣言(A)

与不精确的浮点计算,它是适当等级的数量不可忽视的对角线元素。因此,函数

r =等级(一个)

计算奇异值的数量大于公差。

两个子空间

两边美元美元= U \σ^ T V美元在右边。V ^ T V =我美元以来,我们发现

σ= U \ $ $ $ $ AV

这是照片。我画绿线后列r显示美元级别。唯一的非零元素\σ,美元的奇异值,蓝色的点。

写出这个方程列的列。

$ $ Av_j = \ sigma_j u_j, \ \ j = 1,……,r $ $

$ $ Av_j = 0, \ \ j = r + 1,……n $ $

说一个地图美元第一r列V到非零美元的美元的倍数第一列美元$ r U和地图的其余列美元美元到零。

两个子空间

转置矩阵方程A = U V \σ^ T美元,两边由U美元在右边。U ^ T U =我美元以来,我们发现

$ $ ^ T U = V \σ^ T $ $

这是图片,与绿线。

写出来列的列。

$ $ ^ T u_j = \ sigma_j v_j, \ \ j = 1,……,r $ $

$ $ ^ T u_j = 0, \ \ j = r + 1,……,m $ $

这说^ T地图的第一个美元$ r列U $美元到非零的倍数第V $ r列美元和地图的其余列U $美元到零。

四行

这里有一个例子涉及线在两个维度,因此m = n = 2美元。从这些向量开始。

4 u = [3]“v = 3 [1]

u = 3 4 v = 1 3

矩阵一美元是他们外的产品。

一个= u * v '

4 = 3 9 12

计算出圣言。

σ[U, V] =圣言(A)

U = -0.6000 0.8000 0.8000 0.6000σ= 15.8114 0 0 0 V = 0.3162 -0.9487 0.9487 0.3162

\σ美元正如预期的那样,只有一个非零奇异值,所以排名是r = 1美元。

第一个左和右奇异向量是初始向量,归一化单位长度。

ubar = u /规范(u) vbar = v /规范(v)

ubar vbar = 0.3162 - 0.9487 = -0.6000 0.8000

的列一个彼此成正比,美元和美元\{你}$。所以列空间是生成的行或者列的倍数和酒吧\{你}是美元的归一化基向量列空间。^ T是美元的列成正比,和美元\ {v} $。所以酒吧\ {v}美元行空间的归一化基向量。

唯一的非零奇异值是规范因素的产物。

σ=规范(u) *规范(v)

σ= 15.8114

第二个左、右奇异向量,第二列的V和U美元,美元提供基地的零空间$ $和$ ^ T $。

这是照片。

引用

吉尔伯特-斯特朗,“四个基本的子空间:4行”,未标明日期的麻省理工学院课程笔记18.06,< http://web.mit.edu/18.06/www/Essays/newpaper_ver3.pdf>

吉尔伯特-斯特朗,介绍线性代数2016年,Wellesley-Cambridge出版社,第五版,x + 574页,< http://bookstore.siam.org/wc14>

吉尔伯特-斯特朗,“线性代数基本定理”,美国数学月刊、卷。100 9。(1993年11月),页848 - 855,< http://www.jstor.org/stable/2324660?seq=1 page_scan_tab_contents>,也可用< http://www.souravsengupta.com/cds2016/lectures/Strang_Paper1.pdf>

得到了MATLAB代码

发表与MATLAB®R2016b