數(shù)學(xué)是計(jì)算機(jī)技術(shù)的基礎(chǔ)，線性代數(shù)是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)，了解數(shù)據(jù)知識(shí)最好的方法我覺(jué)得是理解概念，數(shù)學(xué)不只是上學(xué)時(shí)用來(lái)考試的，也是工作中必不可少的基礎(chǔ)知識(shí)，實(shí)際上有很多有趣的數(shù)學(xué)門(mén)類(lèi)在學(xué)校里學(xué)不到，有很多拓展類(lèi)的數(shù)據(jù)能讓我們發(fā)散思維，但掌握最基本的數(shù)學(xué)知識(shí)是前提，本文就以線性代數(shù)的各種詞條來(lái)做一下預(yù)熱，不懂的記得百度一下。
請(qǐng)尊重原創(chuàng)，轉(zhuǎn)載請(qǐng)注明來(lái)源網(wǎng)站www.shareditor.com以及原始鏈接地址

矩陣與方程組
還記得n*n方程組是怎么求解的嗎？這個(gè)術(shù)語(yǔ)叫“回代法”，即轉(zhuǎn)成三角形方程組再挨個(gè)代入求解
一直不理解“代數(shù)”這個(gè)“代”是什么意思，現(xiàn)在終于理解了，代，英文是substitution，含義是代替，從初中到現(xiàn)在一直以為“代數(shù)”就是“代入”
系數(shù)矩陣，英文名叫coefficient matrix，怪不得讀開(kāi)源代碼里面經(jīng)常遇到變量名叫做coe，原來(lái)是從這來(lái)的
“導(dǎo)數(shù)”、“可導(dǎo)”還記得嗎？不知道“導(dǎo)”是什么含義的有木有？英文derivative（含義是派生的、衍生的），看起來(lái)不是疏導(dǎo)的意思，而是音譯過(guò)來(lái)的
矩陣就是矩形的數(shù)字陣列，這再簡(jiǎn)單不過(guò)了
n*n的矩陣叫方陣，傻子都知道了
系數(shù)矩陣加一列右端項(xiàng)的矩陣叫增廣矩陣，英文叫做augmented matrix，記作：(A|B)，科學(xué)家們隨便想個(gè)東西起個(gè)名字就讓我們抱著書(shū)本啃，我把A后面放兩個(gè)B，叫做“增廣矩陣二”行嗎
行階梯型矩陣，這回有點(diǎn)難度了，它就是這樣的：非零一行比一行少，第一個(gè)元素是1，數(shù)字靠右
高斯消元法：把增廣矩陣化為行階梯型矩陣
超定方程組：方程個(gè)數(shù)比未知量個(gè)數(shù)多
行最簡(jiǎn)形：行階梯形，每行第一個(gè)非零元是該列唯一的非零元
高斯-若爾當(dāng)消元法：將矩陣化為最簡(jiǎn)形的方法
齊次方程組(homogeneous)：右端項(xiàng)全為零。齊次方程組總是有解的
平凡解，就是零解（0,0,0,.....0），能不能別這么平凡的叫....
非平凡解：零解以外的解
x上面加水平箭頭表示水平數(shù)組（行向量），不加則表示列向量，不一樣的書(shū)里記法不太一樣，姑且這么記吧
對(duì)稱(chēng)矩陣的性質(zhì)：轉(zhuǎn)置等于他自己
若A=(1)，則An=(2n-1)
如果AB=BA=I，則稱(chēng)A是可逆的，或A是非奇異的(nonsingular)，B叫做A的逆元，記作A-1
矩陣沒(méi)有乘法逆元，那么叫做奇異的(singlular)
(AB)-1=B-1A-1
(AB)T=BTAT
圖的鄰接矩陣（相連為1否則為0）是對(duì)稱(chēng)的
初等矩陣：乘到方程兩端得到行階梯形，初等矩陣是非奇異的，即有逆
如果B=多個(gè)初等矩陣連乘A，那么說(shuō)A與B是行等價(jià)的
如果A與I行等價(jià)，那么Ax=0只有平凡解0，而且A有逆矩陣A-1，也就是A是非奇異的，此時(shí)Ax=b有唯一解
求逆的方法：對(duì)增廣矩陣A|I做行列變換，把A變成I，則I變成了A-1
對(duì)角矩陣：對(duì)角線以外的元素都是0
如果A可以?xún)H利用行運(yùn)算化簡(jiǎn)為嚴(yán)格上三角形，則A有一LU分解，L是單位下三角矩陣，矩陣值就是變換中用的系數(shù)，這叫LU分解
矩陣分塊后滿足矩陣乘法規(guī)則
內(nèi)積也叫標(biāo)量積：行向量和列向量乘積，得出一個(gè)數(shù)
外積：列向量和行向量乘積，得出一個(gè)矩陣
外積展開(kāi)：兩個(gè)矩陣分別用向量方式表示，其乘積可以表示為外積展開(kāi)

行列式
行列式：兩條豎線間包括的陣列
每個(gè)方形矩陣可以和他的行列式對(duì)應(yīng)，行列式數(shù)值說(shuō)明方陣是否是奇異的
行列式算法：展開(kāi)某一行，每個(gè)數(shù)乘以他的余子式并加和
如果行列式非0，則方形矩陣為非奇異
det(A)可表示為A的任何行或列的余子式展開(kāi)
三角形矩陣的行列式等于對(duì)角元素乘積
交換矩陣兩行，行列式變成原來(lái)的負(fù)數(shù)，即det(EA)=-det(A)
矩陣某行乘以a，行列式變成原來(lái)的a倍，即det(EA)=adet(A)
矩陣某行乘以a加到另一行，行列式不變
如果某行為另一行的倍數(shù)，則矩陣行列式為零
det(AB)=det(A)det(B)
adj A：矩陣的伴隨(adjoint)，將元素用余子式替換并轉(zhuǎn)置
求逆方法：A-1=(1/det(A)) adj A，推導(dǎo)：A(adj A)=det(A)I所以A(((1/det(A)) adj A) = I
克拉黙法則：Ax=b的唯一解是xi=det(Ai)/det(A)，這是線性方程組用行列式求解的便利方法
信息加密方法：找到行列式為正負(fù)1的整數(shù)矩陣A，A-1=+-adj A易求，乘A加密，乘A-1解密，A的構(gòu)造方法：單位矩陣做初等變換
向量積也是一個(gè)向量
微積分中x看做行向量，線性代數(shù)中x看做列向量
假設(shè)x和y是行向量，則x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k，其中i,j,k是單位矩陣的行向量
向量積可用于定義副法線方向
xT(xy)=yT(xy)=0，說(shuō)明向量積與向量夾角為0

向量空間
向量空間：這個(gè)集合中滿足加法和標(biāo)量乘法運(yùn)算，標(biāo)量通常指實(shí)數(shù)
子空間：向量空間S的子集本身也是個(gè)向量空間，這個(gè)子集叫做子空間
除了{(lán)0}和向量空間本身外，其他子空間叫做真子空間，類(lèi)似于真子集的概念，{0}叫做零子空間
Ax=0的解空間N(A)稱(chēng)為A的零空間，也就是說(shuō)Ax=0線性方程組的解空間構(gòu)成一個(gè)向量空間
向量空間V中多個(gè)向量的線性組合構(gòu)成的集合成為這些向量的張成(span)，記作span(v1,v2,...,vn)
span(e1,e2)為R3的一個(gè)子空間，從幾何上表示為所有x1x2平面內(nèi)3維空間的向量
span(e1,e2,e3)=R3
如果span(v1,v2,v3)=R3，那么說(shuō)向量v1,v2,v3張成R3，{v1,v2,v3}是V的一個(gè)張集
最小張集是說(shuō)里面沒(méi)有多余的向量
最小張集的判斷方法是：這些向量線性組合=0只有0解，這種情況也就是這些向量是線性無(wú)關(guān)的，如果有非零解那么就說(shuō)是線性相關(guān)的
在幾何上看二位向量線性相關(guān)等價(jià)于平行，三維向量線性相關(guān)等價(jià)于在同一個(gè)平面內(nèi)
向量構(gòu)成矩陣的行列式det(A)=0，則線性相關(guān)，否則線性無(wú)關(guān)
線性無(wú)關(guān)向量唯一地線性組合來(lái)表示任意向量
最小張集構(gòu)成向量空間的基，{e1,e2...en}叫做標(biāo)準(zhǔn)基，基向量數(shù)目就是向量空間的維數(shù)
轉(zhuǎn)移矩陣：把坐標(biāo)從一組基到另一組基的變換矩陣
由A的行向量張成的R1*n子空間成為A的行空間，由A的列向量張成的Rm子空間成為A的列空間
A的行空間的維數(shù)成為A的秩(rank)，求A的秩方法：把A化為行階梯形，非零行個(gè)數(shù)就是秩
矩陣的零空間的維數(shù)成為矩陣的零度，一般秩和零度之和等于矩陣的列數(shù)
m*n矩陣行空間維數(shù)等于列空間的維數(shù)

線性變換
線性變換：L(av1+bv2)=aL(v1)+bL(v2)
線性算子：一個(gè)向量空間到其自身的線性變換
典型線性算子距離：ax(伸長(zhǎng)或壓縮a倍)，x1e1（到x1軸的投影），(x1,-x2)T（關(guān)于x1軸作對(duì)稱(chēng)），(-x2,x1)T逆時(shí)針旋轉(zhuǎn)90度
判斷是不是線性變換，就看看這種變換能不能轉(zhuǎn)化成一個(gè)m*n矩陣
線性變換L的核記為ker(L)，表示線性變換后的向量空間中的0向量
子空間S的象記為L(zhǎng)(S)，表示子空間S上向量做L變換的值
整個(gè)向量空間的象L(V)成為L(zhǎng)的值域
ker(L)為V的一個(gè)子空間，L(S)為W的一個(gè)子空間，其中L是V到W的線性變換，S是V的子空間
從以E為有序基的向量空間V到以F為有序基的向量空間W的線性變換的矩陣A叫做表示矩陣
B為L(zhǎng)相應(yīng)于[u1,u2]的表示矩陣,A為L(zhǎng)相應(yīng)于[e1,e2]的表示矩陣，U為從[u1,u2]到[e1,e2]的轉(zhuǎn)移矩陣，則B=U-1AU
如果B=S-1AS，則稱(chēng)B相似于A
如果A和B為同一線性算子L的表示矩陣，則A和B是相似的

正交性
兩個(gè)向量的標(biāo)量積為零，則稱(chēng)他們正交(orthogonal)
R2或R3中的向量x和y之間的距離是：||x-y||
xTy=||x|| ||y|| cos θ，即cos θ=xTy / (||x|| ||y||)
設(shè)方向向量u=(1/||x||)x，v=(1/||y||)y，則cos θ=uTv，即夾角余弦等于單位向量的標(biāo)量積
柯西-施瓦茨不等式：|xTy| <= ||x|| ||y||，當(dāng)且僅當(dāng)有0向量或成倍數(shù)關(guān)系時(shí)等號(hào)成立
標(biāo)量投影：向量投影的長(zhǎng)度，α=xTy/||y||
向量投影：p=(xTy/||y||)y=(xTy/yTy)y
對(duì)R3：||x*y|| = ||x|| ||y|| sinθ
當(dāng)x和y正交時(shí), ||x+y||2 = ||x||2 + ||y||2，叫畢達(dá)哥拉斯定律
c2=a2+b2叫畢達(dá)哥拉斯定理，其實(shí)就是勾股弦定理
余弦應(yīng)用于判斷相似程度
U為向量組成的矩陣，C=UTU對(duì)應(yīng)每一行向量的標(biāo)量積值，這個(gè)矩陣表示相關(guān)程度，即相關(guān)矩陣(correlation matrix)，值為正就是正相關(guān)，值為負(fù)就是負(fù)相關(guān)，值為0就是不相關(guān)
協(xié)方差：x1和x2為兩個(gè)集合相對(duì)平均值的偏差向量，協(xié)方差cov(X1,X2)=(x1Tx2)/(n-1)
協(xié)方差矩陣S=1/(n-1) XTX，矩陣的對(duì)角線元素為三個(gè)成績(jī)集合的方差，非對(duì)角線元素為協(xié)方差
正交子空間：向量空間的兩個(gè)子空間各取出一個(gè)向量都正交，則子空間正交。比如z軸子空間和xy平面子空間是正交的
子空間Y的正交補(bǔ)：是這樣一個(gè)集合，集合中每個(gè)向量都和Y正交
正交補(bǔ)一定也是一個(gè)子空間
A的列空間R(A)就是A的值域，即Rn中的x向量，列空間中的b=Ax
R(AT)的正交空間是零空間N(A)，也就是說(shuō)A的列空間和A的零空間正交
S為Rn的一個(gè)子空間，則S的維數(shù)+S正交空間的維數(shù)=n
S為Rn的一個(gè)子空間，則S的正交空間的正交空間是他本身
最小二乘(least squares)用來(lái)擬合平面上的點(diǎn)集
最小二乘解為p=Ax最接近b的向量，向量p為b在R(A)上的投影
最小二乘解x的殘差r(x)一定屬于R(A)的正交空間
殘差：r(x) = b - Ax
ATAx = ATb叫做正規(guī)方程組，它有唯一解x = (ATA)-1ATb，這就是最小二乘解，投影向量p=A(ATA)-1ATb為R(A)中的元素
插值多項(xiàng)式：不超過(guò)n次的多項(xiàng)式通過(guò)平面上n+1個(gè)點(diǎn)
一個(gè)定義了內(nèi)積的向量空間成為內(nèi)積空間
標(biāo)量?jī)?nèi)積是Rn中的標(biāo)準(zhǔn)內(nèi)積，加權(quán)求和也是一種內(nèi)積
內(nèi)積表示為，內(nèi)積需滿足： >= 0; =; =a+b
a=/||v||為u到v的標(biāo)量投影
p=(/) v為u到v的向量投影
柯西-施瓦茨不等式：|| <= ||u|| ||v||
范數(shù)(norm)：定義與向量相關(guān)聯(lián)的實(shí)數(shù)||v||，滿足||v||>=0; ||av||=|a| ||v||; ||v+w|| <= ||v|| + ||w||
||v|| = ()^-1為一個(gè)范數(shù)
||x||=sigma|xi|為一個(gè)范數(shù)
||x||=max|xi|為一個(gè)范數(shù)
一般地，范數(shù)給出了一種方法來(lái)度量?jī)蓚€(gè)向量的距離
v1,v2,...,vn如果相互之間=0，則{v1,v2,...,vn}成為向量的正交集
正交集中的向量都是線性無(wú)關(guān)的
規(guī)范正交的向量集合是單位向量的正交集，規(guī)范正交集中=1，里面的向量叫做規(guī)范正交基
正交矩陣：列向量構(gòu)成規(guī)范正交基
矩陣Q是正交矩陣重要條件是QTQ=I，即Q-1=QT
乘以一個(gè)正交矩陣，內(nèi)積保持不變，即=
乘以一個(gè)正交矩陣，仍保持向量長(zhǎng)度，即||Qx||=||x||
置換矩陣：將單位矩陣的各列重新排列
如果A的列向量構(gòu)成規(guī)范正交集，則最小二乘問(wèn)題解為x=ATb
非零子空間S中向量b到S的投影p=UUTb，其中U為S的一組規(guī)范正交基，其中UUT為到S上的投影矩陣
使用不超過(guò)n次的多項(xiàng)式對(duì)連續(xù)函數(shù)進(jìn)行逼近，可以用最小二乘逼近。
某取值范圍內(nèi)線性函數(shù)的子空間，內(nèi)積形式是取值范圍內(nèi)對(duì)兩個(gè)函數(shù)乘積做積分
通過(guò)將FN乘以向量z來(lái)計(jì)算離散傅里葉系數(shù)d的方法稱(chēng)為DFT算法(離散傅里葉變換)
FFT(快速傅里葉變換)，利用矩陣分塊，比離散傅里葉變換快8w多倍
格拉姆-施密特正交化過(guò)程：u1=(1/||x1||)x1, u2=(1/||x2-p1||) (x2-p1), .....直接求出一組規(guī)范正交基
格拉姆-施密特QR分解：m*n矩陣A如果秩為n，則A可以分解為QR，Q為列向量正交的矩陣，R為上三角矩陣，而且對(duì)角元素都為正，具體算法：
r11=||a1||，其中r11是對(duì)角矩陣第一列第一個(gè)元素，a1是A的列向量，
rkk=||ak-p(k-1)||, rik=qiTak, a1=r11q1
Ax=b的最小二乘解為x=R-1QTb，其中QR為因式分解矩陣，解x可用回代法求解Rx=QTb得到
使用多項(xiàng)式進(jìn)行數(shù)據(jù)擬合以及逼近連續(xù)函數(shù)可通過(guò)選取逼近函數(shù)的一組正交基進(jìn)行簡(jiǎn)化
多項(xiàng)式序列p0(x),p1(x),...下標(biāo)就是最高次數(shù)，如果=0，則{pn(x)}成為正交多項(xiàng)式序列，如果=1，則叫規(guī)范正交多項(xiàng)式序列
經(jīng)典正交多項(xiàng)式：勒讓德多項(xiàng)式、切比雪夫多項(xiàng)式、雅克比多項(xiàng)式、艾爾米特多項(xiàng)式、拉蓋爾多項(xiàng)式
勒讓德多項(xiàng)式：在內(nèi)積

=-1到1的積分p(x)q(x)dx意義下正交，(n+1)P(n+1)(x)=(2n+1)xPn(x)-nP(n-1)(x)
切比雪夫多項(xiàng)式：在內(nèi)積

=-1到1的積分p(x)q(x)(1-x2)-1/2dx意義下正交，T1(x)=xT0(x), T(n+1)(x)=2xTn(x)-T(n-1)(x)
拉格朗日插值公式：P(x)=sigma f(xi) Li(x)
拉格朗日函數(shù)Li(x)=(x-xj)連乘積 / (xi-xj)連乘積
f(x)w(x)在a到b的積分可以簡(jiǎn)化為sigma Li(x)w(x)在a到b的積分 f(xi)
請(qǐng)尊重原創(chuàng)，轉(zhuǎn)載請(qǐng)注明來(lái)源網(wǎng)站www.shareditor.com以及原始鏈接地址

特征值
經(jīng)過(guò)矩陣變換后向量保持不變，穩(wěn)定后的向量叫做該過(guò)程的穩(wěn)態(tài)向量
存在非零的x使得Ax=λx，則稱(chēng)λ為特征值，x為屬于λ的特征向量。特征值就是一個(gè)縮放因子，表示線性變換這個(gè)算子的自然頻率
子空間N(A-λI)稱(chēng)為對(duì)應(yīng)特征值λ的特征空間
det(A-λI)=0稱(chēng)為矩陣A的特征方程，求解特征方程可以算出λ
λ1λ2...λn=det(A)，即所有特征值的連乘積等于矩陣A的行列式的值
sigma λi = sigma aii，所有特征值的和等于矩陣對(duì)角線元素之和
A的對(duì)角線元素的和稱(chēng)為A的跡(trace)，記為tr(A)
相似矩陣：B=S-1AS
相似矩陣具有相同的特征多項(xiàng)式，和相同的特征值
線性微分方程解法可以用特征值特征向量，形如Y'=AY, Y(0)=Y0的解是ae(λt)x，其中x是向量，這樣的問(wèn)題稱(chēng)為初值問(wèn)題，如果有多個(gè)特征值，則解可以是多個(gè)ae(λt)x的線性組合
任意高階微分方程都可以轉(zhuǎn)化成一階微分方程，一階微分方程可以用特征值特征向量求解
矩陣A的不同特征值的特征向量線性無(wú)關(guān)
如果存在X使得X-1AX=D，D是對(duì)角矩陣，則說(shuō)A是可對(duì)角化的，稱(chēng)X將A對(duì)角化，X叫做對(duì)角化矩陣
如果A有n個(gè)線性無(wú)關(guān)的特征向量，則A可對(duì)角化
對(duì)角化矩陣X的列向量就是A的特征向量，D的對(duì)角元素就是A的特征值，X和D都不是唯一的，乘以個(gè)標(biāo)量，或重新排列，都是一個(gè)新的
An=XDnX-1，所以按A=XDX-1因式分解后，容易計(jì)算冪次
如果A有少于n個(gè)線性無(wú)關(guān)的特征向量，則稱(chēng)A為退化的(defective)，退化矩陣不可對(duì)角化
特征值和特征向量的幾何理解：矩陣A有特征值2，特征空間由e3張成,看成幾何重?cái)?shù)(geometric multiplicity)是1
矩陣B有特征值2，特征向量有兩個(gè)x=(2,1,0)和e3，看成幾何重?cái)?shù)(geometric multiplicity)是2
隨機(jī)過(guò)程：一個(gè)試驗(yàn)序列，每一步輸出都取決于概率
馬爾可夫過(guò)程：可能的輸出集合或狀態(tài)是有限的；下一步輸出僅依賴(lài)前一步輸出，概率相對(duì)于時(shí)間是常數(shù)
如果1為轉(zhuǎn)移矩陣A的住特征值，則馬爾可夫鏈將收斂到穩(wěn)態(tài)向量
一個(gè)轉(zhuǎn)移矩陣為A的馬爾可夫過(guò)程，若A的某冪次的元素全為正的，則稱(chēng)其為正則的(regular)
PageRank算法可以看成瀏覽網(wǎng)頁(yè)是馬爾可夫過(guò)程，求穩(wěn)態(tài)向量就得到每個(gè)網(wǎng)頁(yè)的pagerank值
A的奇異值(singlular value)分解：把A分解為一個(gè)乘積UΣVT，其中U、V都是正交矩陣，Σ矩陣的對(duì)角線下所有元素為0，對(duì)角線元素逐個(gè)減小，對(duì)角線上的值叫奇異值
A的秩等于非零奇異值的個(gè)數(shù)
A的奇異值等于特征向量的開(kāi)方
若A=UΣVT，那么上面ATuj=σjvj，下面ATuj=0，其中vj叫做A的右奇異向量，uj叫做左奇異向量
壓縮形式的奇異值分解：U1=(u1,u2,...,ur), V1=(v1,v2,...,vr)，A=U1Σ1V1T
奇異值分解解題過(guò)程：先算ATA的特征值，從而算出奇異值，同時(shí)算出特征向量，由特征向量得出正交矩陣V，求N(AT)的一組基并化成規(guī)范正交基，組成U，最終得出A=UΣVT
數(shù)值秩是在有限位精度計(jì)算中的秩，不是準(zhǔn)確的秩，一般假設(shè)一個(gè)很小的epsilon值，如果奇異值小于它則認(rèn)為是0，這樣來(lái)計(jì)算數(shù)值秩
用來(lái)存儲(chǔ)圖像的矩陣做奇異值分解后去掉較小的奇異值得到更小秩的矩陣，實(shí)現(xiàn)壓縮存儲(chǔ)
信息檢索中去掉小奇異值得到的近似矩陣可以大大提高檢索效率，減小誤差
二次型：每一個(gè)二次方程關(guān)聯(lián)的向量函數(shù)f(x)=xTAx，即二次方程中ax2+2bxy+cy2部分
ax2+2bxy+cy2+dx+ey+f=0圖形是一個(gè)圓錐曲線，如果沒(méi)解則稱(chēng)為虛圓錐曲線，如果僅有一個(gè)點(diǎn)、直線、兩條直線，則稱(chēng)為退化的圓錐曲線，非退化的圓錐曲線為圓、橢圓、拋物線、雙曲線
一個(gè)關(guān)于x、y的二次方程可以寫(xiě)為xTAx+Bx+f=0，其中A為22對(duì)稱(chēng)，B為12矩陣，如果A是非奇異的，利用旋轉(zhuǎn)和平移坐標(biāo)軸，則可化簡(jiǎn)為λ1(x')2+λ2(y')2+f'=0，其中λ1和λ2為A的特征值。如果A是奇異的，且只有一個(gè)特征值為零，則化簡(jiǎn)為λ1(x')2+e'y'+f'=0或λ2(x')2+d'x'+f'=0
二次型f(x)=xTAx對(duì)于所有x都是一個(gè)符號(hào)，則稱(chēng)為定的(definite)，若符號(hào)為正，則叫正定的(positive definite)，相對(duì)應(yīng)叫負(fù)定的(negative definite)，如果符號(hào)有不同則叫不定的(indefinite)，如果可能=0，則叫半正定的(positive semidefinite),和半負(fù)定的(negative semidefinite)
如果二次型正定則稱(chēng)A為正定的
一階偏導(dǎo)存在且為0的點(diǎn)稱(chēng)為駐點(diǎn)，駐點(diǎn)是極小值點(diǎn)還是極大值點(diǎn)還是鞍點(diǎn)取決于A是正定負(fù)定還是不定
一個(gè)對(duì)稱(chēng)矩陣是正定的，當(dāng)且僅當(dāng)其所有特征值均為正的
r階前主子矩陣：將n-r行和列刪去得到的矩陣
如果A是一個(gè)對(duì)稱(chēng)正定矩陣，則A可分解為L(zhǎng)DLT，其中L為下三角的，對(duì)角線上元素為1，D為對(duì)角矩陣，其對(duì)角元素均為正的
如果A是一個(gè)對(duì)稱(chēng)正定矩陣，則A可分解為L(zhǎng)LT，其中L為下三角的，其對(duì)角線元素均為正
對(duì)稱(chēng)矩陣如下結(jié)論等價(jià)：A是正定的；前主子矩陣均為正定的；A可僅使用行運(yùn)算化為上三角的，且主元全為正；A有一個(gè)楚列斯基分解LLT（其中L為下三角矩陣，其對(duì)角元素為正的）；A可以分解為一個(gè)乘積BTB，其中B為某非奇異矩陣
非負(fù)矩陣：所有元素均大于等于0
一個(gè)非負(fù)矩陣A，若可將下標(biāo)集{1,2,...,n}劃分為非空不交集合I1和I2，使得當(dāng)i屬于I1而j屬于I2中時(shí)，aij=0，則成其為可約的，否則為不可約的

數(shù)值線性代數(shù)
舍入誤差(round off error):四舍五入后的浮點(diǎn)數(shù)x'和原始數(shù)x之間的差
絕對(duì)誤差：x'-x
相對(duì)誤差：(x'-x)/x，通常用符號(hào)δ表示，|δ|可以用一個(gè)正常數(shù)ε限制，稱(chēng)為機(jī)器精度(machine epsilon)
高斯消元法涉及最少的算術(shù)運(yùn)算，因此被認(rèn)為是最高效的計(jì)算方法
求解Ax=b步驟：將A乘以n個(gè)初等矩陣得到上三角矩陣U，把初等矩陣求逆相乘得到L，那么A=LU，其中L為下三角矩陣，一旦A化簡(jiǎn)為三角形式，LU分解就確定了，那么解方程如下：LUx=b，令y=Ux，則Ly=b，所以可以通過(guò)求下三角方程求得y，y求得后再求解Ux=y，即可求得x
矩陣的弗羅貝尼烏斯范數(shù)記作||·||F，求其所有元素平方和的平方根
若A的奇異值分解A=UΣVT，則||A||2=σ1（最大的奇異值）
矩陣范數(shù)可用于估計(jì)線性方程組對(duì)系數(shù)矩陣的微小變化的敏感性
將x'代回原方程組觀察b'=Ax'和b的接近成都來(lái)檢驗(yàn)精度，r=b-b'=b-Ax'叫做殘差(residual)，||r||/||b||叫做相對(duì)殘差
奇異值為一個(gè)矩陣接近奇異程度的度量，矩陣越接近奇異就越病態(tài)
豪斯霍爾德變換(householder transformation)矩陣H可由向量v和標(biāo)量β求得，因此存儲(chǔ)v和β更省空間
主特征值是指最大的特征值
求主特征值的方法：冪法。
求特征值方法：QR算法。將A分解為乘積Q1R1，其中Q1為正交的，R1為上三角的，A2=Q1TAQ1=R1Q1，將A2分解為Q2R2，定義A3=Q2TA2Q2=R2Q2，繼續(xù)這樣，得到相似矩陣序列Ak=QkRk，最終將收斂到類(lèi)似上三角矩陣，對(duì)角上是11或22的對(duì)角塊，對(duì)角塊的特征值就是A的特征值

最后的總結(jié)
奇異值分解正是對(duì)這種線性變換的一個(gè)析構(gòu)，A=，和是兩組正交單位向量，是對(duì)角陣，表示奇異值，它表示A矩陣的作用是將一個(gè)向量從這組正交基向量的空間旋轉(zhuǎn)到這組正交基向量空間，并對(duì)每個(gè)方向進(jìn)行了一定的縮放，縮放因子就是各個(gè)奇異值。如果維度比大，則表示還進(jìn)行了投影。可以說(shuō)奇異值分解描述了一個(gè)矩陣完整的功能/特性。
而特征值分解其實(shí)只描述了矩陣的部分功能。特征值，特征向量由Ax=x得到，它表示如果一個(gè)向量v處于A的特征向量方向，那么Av對(duì)v的線性變換作用只是一個(gè)縮放。也就是說(shuō)，求特征向量和特征值的過(guò)程，我們找到了這樣一些方向，在這些方向上矩陣A對(duì)向量的旋轉(zhuǎn)、縮放變換（由于特征值只針對(duì)方陣，所以沒(méi)有投影變換）在一定程度上抵消了，變成了存粹的縮放（這個(gè)縮放比例和奇異值分解中的縮放比例可能不一樣）。
概括一下，特征值分解只告訴我們?cè)谔卣飨蛄康哪莻€(gè)方向上，矩陣的線性變化作用相當(dāng)于是簡(jiǎn)單的縮放，其他方向上則不清楚，所以我說(shuō)它只表示矩陣的部分特性。而奇異值分解則將原先隱含在矩陣中的旋轉(zhuǎn)、縮放、投影三種功能清楚地解析出來(lái)，表示出來(lái)了，它是對(duì)矩陣的一個(gè)完整特征剖析。

總結(jié)

以上是生活随笔為你收集整理的机器学习--线性代数基础的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。