漫谈高数（转载）
(一) 泰勒級數的物理意義
高等數學干嗎要研究級數問題?
???????是為了把簡單的問題弄復雜來表明自己的高深? No，是為了把各種簡單的問題/復雜的問題，他們的求解過程用一種通用的方法來表示。
???????提一個問題，99*99等于多少? 相信我們不會傻到列式子去算，口算也太難了而是會做一個迂回的方法，99*(100-1)，這樣更好算。那么995*998呢? 問題更復雜了，(1000-5)*(1000-2)，式子比直接計算要復雜，但是口算卻成為了可能。歸納一下，x*y這樣的乘法運算或者冪次運算，如何直 接計算很麻煩的話，我們可以用因式分解的方法(中學生都能理解)來求解。但是因式分解仍然不夠通用，因為我們總是需要通過觀察"特定"的待求解式子，找到 一種規律，然后才能因式分解，這是我們從小學到中學數學方法的全部: 特定問題特定的解答方法。那么，到了高等數學，怎么辦? 研究一種方之四海皆準的，通用的方法。
???????泰勒級數的物理意義是什么? 就是把方程g(x)=0的解，寫成曲線方程的形式看看和x軸有什么交點。例如f(x)=x^2=5等價于g(x)=x^2-5=0和x軸的交點。而這個曲 線交點可以用直線切線的逼近方法(牛頓迭代法)來實現，這就是泰勒級數的物理意義: 點+一次切線+2次切線+...+N次切線。每次切線公式的常數，就是泰勒級數第N項的常數。OK，從泰勒級數的式子可以看到，為了保證兩邊相等，且取N 次導數以后仍然相等，常數系數需要除以n!，因為x^n取導數會產生n!的系數。泰勒級數，就是切線逼近法的非跌代的，展開式。泰勒公式怎么來的，其實根據牛頓逼近法就可以得到從1階一直可以推導到N階。假設f1(x)=f(x)-f(a)，由牛頓逼近法有f1(x)=f'(a)(x-a)+o(x-a)^2，所以f(x)=f(a)+f'(a)(x-a)+o(x-a)^2
同理，假設f2(x)=f(x)-f(a)-f'(x)(x-a)，
兩邊求導,f2'(x)=f'(x)-f'(x)-f''(x)(x-a)=-f''(a)(x-a)
再求不定積分f2(x)=-(1/2)f''(a)(x-a)^2+C，C就是那個高階無窮小(需要證明)
所以f(x)=f(a)+f'(a)(x-a)+f''(a)(x-a)^2+o(x-a)^3依次類推，最后就有了泰勒公式。另一種證明過程干脆就是先寫出來g(x)=a0+a1(x-a)+a2(x-a)^2+...+an(x-a)^n，然后從等式序列，g(a)=f(a),g'(a)=f'(a),...g'''''(a)=f'''''(a)......就得到所有的a0-an的泰勒展示系數了。
-------------------------------------------------------------------
?? ? ??泰勒級數展開函數，能做什么？對于特定的x取值，可以求它附近的函數。y=x^100展開以后可以求x=1附近的0.9999的100次方等于多少，計算 過程和結果不但更直觀，而且可以通過舍棄一些高階項的方法來避免不必要的精度計算，簡化了計算，節省了計算時間(如果是計算機計算復雜數字的話)。在圖像 處理的計算機軟件中，經常要用到開方和冪次計算，而Quake III的源代碼中就對于此類的計算做了優化，采用泰勒技術展開和保留基本項的辦法，比純粹的此類運算快了4倍以上。
???????還可以做什么呢? 對于曲線交點的問題，用方程求解的辦法有時候找不到答案，方程太復雜解不出來，那么用泰勒級數的辦法求這個交點，那么交點的精度要提高，相當于泰勒級數的保留項要增加，而這個過程對應于牛頓--萊布尼茨的迭代過程，曲線交點的解在精度要求確定的情況下，有了被求出的可能。
???????看到了吧，泰勒技術用來求解高方程問題，是一種通用的方法，而不是像中學時代那樣一種問題一種解決辦法，高等數學之所以成為"高等"，就是它足夠抽象，抽象到外延無窮大。
???????那么，更感興趣的一個問題是，對于高階的微分方程表達的問題，怎么求解呢? 泰勒級數不行了，就要到傅立葉級數-傅立葉變換-拉普拉斯變化。這幾個工具廣泛用于各個領域的數學分析，從信號與系統到數理方程的求解。
???????中學數學和高等數學最大的區別是什么? 中學數學研究的是定解問題，例如根號4等于2。高等數學研究什么呢----它包含了不定解問題的求解，例如用一個有限小數位的實數來表示根號5的值。我們 用泰勒級數展開求出的根號5的近似值，無論保留多少位小數，它都嚴格不等于根號5，但是實際應用已經足夠了。不可解的問題，用高等數學的通解辦法，可以求 出一個有理數的近似解，它可以無限接近于上帝給出的那個無理數的定解。通解可行性的前提是，我們要證明這種接近的收斂性，所以我們會看到高等數學上冊的課本里面，不厭其煩的，一章接一章，一遍又一遍的講，一個函數，在某個開區間上，滿足某個條件，就能被證明收斂于某種求和式子。初等數學求的是定解，那么如 果沒有定解呢? 高等數學可以求近似解。牛頓萊布尼茨就是切線逼近法的始祖。例如求解一般的3次方程的根，求解公式可以是定解形式:(http://baike.baidu.com/view/1382952.htm)。但是問題是根號內的無理數仍然無法表示出來。那么逼近法求一個數的N次方根就派上用場了。
f{m}=m(k+1)=m(K)+{A/m^2.(k)-m(k)}1/n.
n是方次，A被開方數。
例如，A=5，5介于1的3次方至2的3次方之間。我們可以隨意代入一個數m，例如2，那么：
第一步，2+[5/（2×2）-2]×1/3=1.7;
第二步，1.7+[5/(1.7×1.7)-1.7]×1/3=1.71;
第三步，1.71+[5/(1.71×1.71)-1.71]×1/3=1.709;
每次多取一位數。公式會自動反饋到正確的數值。
???????具體的求解過程：先說說泰勒級數：一個方程，f(x)=0，求解x，它唯一對應x-f(x)二維圖像上的一條曲線。那么x的求解過程可以用牛頓-萊布尼茨 逼近法求得(迭代)。例如x^2=5可以看成f(x)=x^2-5=0的求曲線和X軸的交點。牛頓迭代法可以用來求解線性方程的近似解。那么如何求解非線 性方程呢?f(x)用泰勒級數展開，取前N項(通常N=2)，得到一個線性的方程，這個方程相當于是原來的曲線在求解點附近做了一條切線，其求解過程和牛頓迭代法等 價。迭代次數越多，越接近非線性。用泰勒級數來分解sin(t)，把一個光滑的函數變成一些列有楞有角的波形的疊加。用傅立葉級數來分解方波，把有楞有角 的波形變成一些光滑曲線的集合。但是傅立葉級數舍棄項的時候，會產生高頻的吉布斯毛刺(上升下降的邊沿，迪利赫里條件不符合)。局部的收斂性不如泰勒級數 展開----因為泰勒級數展開有逐項衰減的常數因子。
???????舉個例子，用泰勒級數求解歐拉公式。沒有歐拉公式，就沒有傅立葉變換，就沒有拉普拉斯變化，就不能把高階導數映射到e的倒數上面，也就無法把微分方程等價為一個限行方程。歐拉公式有什么用? 它把實數的三角運算變成了復數的旋轉運算，把指數運算變成了乘積運算，把純微分方程的求解過程變成了指數方程的求解過程，大大簡化了運算。
-------------------------------------------------------------------
???????推廣一下。怎么分析一個函數?怎么分析一個幾何的相交問題?怎么解決一個多維的問題? 初等的方法是根據函數或者圖形的幾何性質，去湊答案----當然大部分情況是湊不到答案的，因為能湊到答案是因為問題/題目給出了一些特殊的數學關系以使 得我們恰好能湊到答案! 例如一個圓球在正方體里面，求通過某個頂點的切面方程或者距離什么的，我們可以通過做輔助面求得。但是這個求解太特殊了，對于普通的點，例如切面方程 13x+615y+72z-2=0這樣的，初等方法就無能為力了。說白了初等方法就是牛頓在<<自然哲學的數學原理>>提到的幾 何方法，牛頓并沒有把微積分上升到解析的思想。普通數學分析則提出了解析的代數運算思想，把具體的問題用通用的方式來求得，而問題的題設只是一種把函數的實際參數帶入形式參數的過程，使得問題可以形式化了----如果數學問題不能形式化就不能通過狀態機來求解，試想，計算機怎么會畫輔助線呢? 幾何圖形是有意義的，但是形式求解本身沒有意義，它必須把實際的"意義"問題變成代數運算，例如求最大值最小值變成導數=0。電路分析當中的模型是什么? 就是數學建模。因為電壓和電流是可以測量的量，那么我們就要看什么量是不變量/變量，什么量是自變量/因變量。如果電壓是不變量，我們認為是理想電壓源； 如果電流是不變量就是理想電流源，如果電壓電流的比例不變就是恒定電阻；如果電壓電流乘積不變就是理想功率源。把控制電路作為一個整體，那么電壓/電流控 制電壓/電流，作為一個黑盒，對外的特性就是電壓轉移系數，電流轉移系數，轉移電阻和轉移電抗。在物理學的電場分析當中電壓/電勢是一個矢量，但是到了集 總電路分析的領域就退化成了一個標量。對于復雜問題的分析，好比物理學當中的動量/能量守恒，電路分析是以電流守恒為基礎的，于是就有了節電電流法和環路 電壓法的概念。這些概念的建立都是為了分析的目的而存在的，是分析工具。我們首先得到一個工具，當直接分析很困難的時候，我們采用逼近的方法來解決 ----因為極限就是我們所求的。正是因為解析的思想是一種通用的求解方式，愛因斯坦在晚年才會追求4大場的統一理論，當然他忽略了這個"解析"的形式系 統本身在量子的尺度上失效了，忽略了不確定性和概率的影響，令人惋惜。說的太遠了，高數里面為什么有那么多種正交展開? 泰勒級數，傅立葉級數，羅朗級數----其實就是因為初等的方法無法精確分析出定解，那么就去尋找一種"不斷逼近"的方法來求解。復變函數研究的就是如何 用冪級數不斷的逼近原函數這個基本命題。
-------------------------------------------------------------------
???????泰勒是怎么想出來的?
???????為什么泰勒級數，傅立葉級數，這些展開式都可以寫成某個通項公式的和呢? 是不是真理都是簡單的美的，就像畢達哥拉斯所設想的一樣? 這個觀點也許搞反了因果的方向。我們看一下泰勒級數是怎么得到的。泰勒假設f(x)=f(a)+f'(x)(x-a)+o(x-a)^2，這個是牛頓萊布尼茨公式可以推出來的，那么有了一次項以后，如何繼續逼近? 方法類似，一次的求解是g1(x)=f(x)-f(a)=f'(x)(x-a)，那么可以寫出g2(x)=f(x)-f(a)-f'(x)(x-a)兩邊對x求導再求不定積分，就得到了2階的泰勒級數。依次類推，可以得到N階的泰勒級數。由于每一階的推導過程是"相似"的，所以泰勒項數的子項肯定也就具有 了某種形式意義上的相似性。說白了，不是因為客觀存在某種規律使得函數可以展開成具有通項公式的冪級數，而是為了把函數展開成具有通項公式的冪級數再去看每個子項應該等于什么，然后為了保證嚴格再給出收斂以及一致收斂的條件。
???????不是客觀存在某種"簡單而且美"的真理，而是主體把某種"簡單而且美"的形式強加給客觀，再看客觀在"強加"語境下的特性如何。傅立葉級數的思想，頻率分 析的思想，和這個相似，是把我們心中的某個概念賦予外界的實在，按主管意識的想法來拆借外界----只有這樣，思想才能被理解。當然，實數范圍的泰勒級數 和傅立葉級數展開的條件仍然比較嚴格，復變函數引入了對應的洛朗級數和傅立葉/拉普拉斯變換，通用性強多了。說白了，復變函數就是函數逼近論。為了解決初 等思想沒法解決的不可能想明白的問題而引入的高等方法。逼近思想的一個應用就是理解曲率的公式 A=|y''|/sqrt(1+y'^2)。畫出逼近圖形就可以理解了，用兩個相似三角形就可以證明這個公式。
???????復變函數說白了就是2維正交元素組成的數 域。(1+i)^i=exp(iLn(1+i))=exp(i[Ln|1+i|+i(arg(1+i)+2kPi])=exp(-Pi)(1/4+2k)*(cos[ln2/2]+isin[ln2/2])，是一個正交的表達式，它保留了兩個方向上的分量，使得2維分析變得可能。這樣一 來，高等數學當中的曲線積分，積分的變量不再是x和y而是只剩下了z，形式上簡單多了。
???????假設曲線積分S1=S(Pdx+Qdy)其中Q=x^2-2xy-y^2,P=x^2-y^2+2xy，顯然滿足格林公式。然后負數積分 S(z^2)dz=S(x^2+2xyi-y^2)d(x+yi)=S( (x^2-2xy)dx+(y^2-2xy)dy )。而S(x^2+2xyi-y^2)d(x+yi)實部=S(x^2-y^2)dx-2xy^2dy，虛部=S(2xydx+(x^2- y^2)dy)，實部和虛部相加就是S1，也就是說，S是S1(曲線積分和路徑無關)的復數形式。我們可以驗證S(z^2)dz沿不同積分路線從起點到終 點的積分結果。z^2=(x^2-y^2)+i2xy，顯然滿足柯西-黎曼條件。于是它和實數積分的格林公式統一了。
???????實際的模型總是難以精確的解釋的,所以我們創造一些理想模型去逼近現實。當然，兩者不會相等，但是只要誤差在容許的范圍之內，我們認為數學的分析就成功了。這就是一切數學建模的思想。工科電子類的專業課，第一門數學建模的課程就是電路分析。這里傳輸線的問題被一個等效電路替代了。實際電源被一個理想的電 壓源加上一個電阻替代了，三級管放大電路的理論模型就是電流控制的電流源。一切都是為了分析的方便。只要結果足夠近似，我們就認為自己的理論是有效的。出了這個邊界，理論就需要修正。理論反映的不是客觀實在，而是我們"如何去認識"的水平，理論是一種主觀的存在，當實際情況可以影射到同一種理論的時候，我 們說理論上有了一種主觀的"普遍聯系"，就像電路分析和網絡流量的拓撲分析有很多共同點。這種普遍聯系不是客體的屬性，只和主體的觀點有關。
???????
?
???????說點題外話，對于工科電子類/計算機類的學生來說，我們學習了太多了經過精簡壓縮貫通的課程，以至于不知道了這些理論原有的面貌。有一種趨勢就是把重要的思想性的原理性的東西去掉只留下工程實用性的內容下來。于是工科學生學到的都是"閹割"過的科學與技術----缺少靈魂的學問是無法用來做研究的。下面是課程的對應關系:
1. 高等數學(工科)2個學期 <-> 數學分析+解析幾何+微分幾何(5個學期)____數學系專業課
2. 線性代數(工科)1個學期 <-> 高等代數(2個學期)+矩陣論(1個學期)______數學系專業課
3. 數理方法(工科)1個學期 <-> 常微分方程+偏微分方程+算子理論(3個學期)_數學系專業課
4.?離散數學(工科)1-2學期 <-> 形式邏輯+數理邏輯+集合論+近世代數+組合數學+運籌學+拓撲學(N個學期)_數學系專業課
5. 信號與系統(工科)1個學期 <-> 復變分析+實變分析+泛函分析+控制理論+... ..._數學系專業課
???????沒有強大的數學基礎，所謂的"科研"，只能是某種一邊發明數學一邊湊答案的抓狂，只能是空談。還是老老實實的做項目，搞軟硬件研發，開發市場，做技術支持，寫報告，等等。
?
(二) 方程和矩陣的物理含義
[一. 矩陣和空間的思想]
???????我在這里，把線性代數歸于高等數學的范疇，因為它的理論適用于很多高等數學求解的領域，例如多項微分方程組的求解，離不開它。
???????方程組，有什么物理/幾何的意義嗎? 有，就是一種映射關系。下圖中，左圖代表了2維到2維的一一映射，注意，Ax=0只有0解代表對于滿秩矩陣A，[0]只能被映射為[0]。右圖代表A不滿 秩，就是2維映射到1維的情況，一個線段映射到一個點，也就是存在一個"解系"。
???????換個角度，由于線性映射常常就是線性變換，也就是映射回本身的集合映射，所以AX=B也可以看成是某種交點的性質。根據向量之間相交的情況區分，定解(直 線或面交于一點，1和2中的交點)，無窮解(直線平行或面多面共線，這個線就構成解系。1種的紅黃色重合線和3中的共線)，或者無解(平行或面沒有公共交 點，1中的平行線和4中的平行交線)。如下圖所示。
???????符號系統還有什么作用？在線性代數和微分方程里面的算子理論就是符號系統的一種形式。如果ax=b有解，那么x=(a^-1)*b，其中|a|=0，我們 可以推出對于矩陣方程組Ax=B有確定解，,那么這個解集是x=(A^-1)*b。這里-1表示逆矩陣，*表示矩陣相乘，其中|A|!=0。這樣的表示是正確的科學的，要做的事情就是看看A^-1如何表示和得到。|A|不是絕對值而是行列式。A此時稱為可逆矩陣----這個相當于實數運算里面要保證分 母!=0。是不是很相似？
???????可逆有什么性質：如果對一個矩陣做線性變換，使用一個滿秩的矩陣，那么做變換的結果，秩不變。要注意，把矩陣當成算子的時候，乘法的交換律不一定成立。秩的加法律和乘法律r(AB)>=r(A)+r(B),r(A+B)<=r(A)+r(B)。秩的性質類似于開根號。兩個性質， (1)A*B=I，那么A和B都可逆。(2)B可逆，A^2+AB+B^2=0，那么求證A和A+B可逆。證明：A(A+B)=-B^2。|-B^2|= (-1)^n*|B|^2!=0，所以A和A+B都可逆。什么又是N階可逆矩陣呢？A*T(A)=I的矩陣就是了。推廣的說，把分塊矩陣的元素可以看作普通的矩陣元素，那么線性變換的結果相似，只是4則運算的單位從"1"變成了單位矩陣"I"。我們從一元方程得到類似的一元矩陣符號運算的性質。說白了，代 數意義上就是雙射。
-----------------------------------------------------------------------------------
[二. 矩陣運算的物理含義，舉例]
???????如果把矩陣看成一個2維坐標系離散值的幾何，那么
1. 矩陣加法A+B就是A的各個點作平移，平移的度量是B當中對應的點。
2. 矩陣乘法A*B就是一種線性映射：如果A是x/y坐標系，B是y/z坐標系，那么結果就是x->z的映射。舉個例子，有3個國家，A國有三個城市，B國有三個城市，C國有兩個城市。他們之間的道路狀況如下用矩陣表示
->B1,B2,B3
A1 1, 1, 0
A2 1, 0, 1
A3 1, 1, 0
->C1,C2
B1 1, 0
B2 1, 1
B3 0, 1
???????那么從A國的每個城市出發經過B到達C的每個城市，各自有多少條線路? 答案就是A*B=[(2,1),(1,1),(2,1)]
3. 我們深入的討論一下"映射"的概念。舉實數為例，y=ax是一個乘法映射，每一個x對應一個y。那么如果知道y求x呢? x=a^(-1)*y。這里影射函數f(x)=ax和反函數g(x)=a^(-1)x互逆。那么我們推廣到N維坐標系空間里面就看到，矩陣就是一個N*N 的坐標系映射。AX=B，把B看成Y，那么X=A^(-1)*Y。前提是A的范數!=0。我們構造的得到的A的1范數就是它的行列式。那么到底什么是映 射? 萊布尼茨說映射就是一組2元關系。在1維的時候表現為函數的形式f(z)=z，在多維的時候表現為矩陣的形式。1維的多次映射表現為函數的嵌套(g o f)，多維的情形可以寫成矩陣的乘法。當然，限制條件是，矩陣能表示的是一個離散值的集合。當然，方陣才有逆----方陣是維數不變的N->N的一 一映射，所以可能有且只有一個反映射，或者沒有反映射。N->M的不同維數映射無法得到反映射。
4. 形式化的定義。我們如果把矩陣看成一個"算子"的話，矩陣的乘法就能看成一個狀態機的推演，推算的過程就是一次算子入棧，反推的過程就是算子出棧。那么顯然就能夠理解(AB)T=B(T)*A(T)以及(AB)^-1=B^(-1)*A^(-1)，(AB)* = (B*)*(A*)。我們從伴隨矩陣的性質AA*=|A|E得到A^(-1)=A*/|A|。矩陣左乘是行變換，右乘是列變換。把矩陣看成算子，同時可以 把子矩陣看成算子，分塊矩陣的相成和行列式求解也就很簡單了?？梢园研〉木仃嚠敵梢粋€數來看待。三角陣通過初等變換可以變成分塊陣。
5. 初等矩陣有3種，對應3種最基本的矩陣變換，也就是行列互換，行列數乘，一行/列數乘以后加到另一個行/列上面。初等矩陣都可逆。線性變換的結果是"相 抵"的。一個矩陣總是能等于一個初等變換矩陣，并且逆矩陣的屬性不變。對于可逆矩陣A，總有P1P2P3...PnAQ1Q2...Qn=E。或者說存在 可逆矩陣P/Q使得PAQ=E。例如，如果A,B和A+B都可逆，那么A(-1)+B(-1)=B(-1)(B+A)A(-1)也是可逆的。
6. 于是有了線性空間的概念：線性空間V就是一個集合，它同時滿足V上的元素加法和對于數域K上面的乘法滿足8條線性運算的規則。
7. 為什么要討論相似? 這里面包含了一種不變性，是研究變換的數學工具。實數變換可以拆分成復數變換，例如酉矩陣，在晶體學里，酉變換叫做幺正變換，也就是將空間（可以是任意維的）中一組基矢做一個旋轉操作，不改變矢量的大小和內積。而在量子力學里面，這個用處就更大了，本質上就是量子力學所說的表象變換。是連接兩個表象的橋 梁。
???????矩陣代表了一種二元關系。函數映射是一種1維的二元關系，那么矩陣就是一種N維的二元關系。矩陣的方法就是一種映射的運算，之所以成為線形運算，是因為每 一個投影都是具有拉伸和整體旋轉的幾何意義，相當于向量通過平面鏡映射到一個投影平面上面的結果。這里只有平面鏡和投影平面，沒有哈哈鏡和投影曲面。如果我們把2元的對應關系寫成復數形式z=x+yi，那么f(z)就是一種投影的關系，只不過f(z)是直線方程的時候對應于一個等效的矩陣，f(z)如果不 是直線方程，那么就是一種非線性變換。線形變換有許多很好的性質，能夠保持信息的數量和結構保持某種程度的不變性，同時使得結果方便理解和處理。
???????映射還有一個性質，就是保角性。假設我們要研究x/y平面上面的x^2-y^2=c和xy=d這兩個雙曲線之間的夾角，怎么辦? 我們可以用微元的辦法(微分幾何)來求出。但是這樣當然很麻煩，而且是一題一解(牛頓喜歡這樣做，但是萊布尼茨反對這種解決方案)，不太符合公理系統和形 式化推理的思想。考慮z1=x+yi,z2=y-xi,f(z)=z^2
費波納契數列的求解
遇到過這樣的問題:
???????一個數列a(-1)=1,a(0)=1,a(n+2)=a(n+1)+a(n)求an的通項公式。用中學時代的眼光我們可以觀察到，如果an當n-& amp; gt;無窮的時候，是個等比數列，顯然符合遞推公式。那么我們就可以假設an=入a(n-1)，那么由遞推公式我們就可以得到:入^2*a(n-1)= 入*a(n-1)+a(n-1)，求得入=(1+根號5)/2(應為這個比值要>1)，那么an=入^n*a0。當然這個只是一個近似公式，結果不 準確而且推導的過程不嚴格。那么我們用大學的線形代數來求解。我們考慮修正方案構造一個等比數列，an+Aa(n-1)=B(a(n-1)+A(a(n- 2)，化簡得到an=(B-A)a(n-1)+Aa(n-2)，于是B-A=1,AB=1，解得A/B=(根號5+-1)/2，剩下的可以參看一組 Wiki(http://zh.wikipedia.org/wiki/%E6%96%90%E6%B3%A2%E9%82%A3%E5%A5%91%E6%95%B0%E5%88%97)。
???????線形代數有什么好處? 就是求解的過程本身可以一直保持變量的形式，可以最后一步才代入實際參數。我們寫出一個矩陣形式的遞推公式：
[a(n+1)]=[1,1][a(_n_)]=[1,1][1,1][a(n-1)]=...=[1,1]^n[a(0)]
[a(_n_)]=[1,0][a(n-1)]=[1,0][1,0][a(n-2)]=...=[1,0]乘[a(-1)]->
???????也就是我們假設A={[1,1],[1,0]}那么就有[a(n+1),a(n)]=A^n*[a0,a(-1)]。于是我們可以通過求解A^n來得到通項公式。求出A的特征值|A-入E|=0->
|1-入,1|
|1,0-入|
=
入^2-入-1=0，兩個特征值分別是:入1=(1+根號5)/2，入2=(1-根號5)/2。入1對應的特征向量: |A-入E|x=0->
|1-入1,1|
|1,0-入1|
=
|入2,_1|
|0,-入1|所以對應的特征向量是(1,-入2)。而入2對應的特征向量同樣的求法得到(1,-入1)。所以可逆矩陣P=
[___1,___1]
[-入2,-入1]，|P|=(-入1+入2)|=-根號5。它的逆矩陣P(-1)=
[入1,1]
[-入2,-1]，除以根號5。所以A=P(-1)*B*P,B是A的特征值構成的對角矩陣。所以
[a(n+1),a(n)]=A^n*[a0,a(-1)]=P(-1)*B^n*P*[a0,a1]->當a0=a-1=1時an=(入1^(n+1)-入2^(n+1))/根號5
[三. 具體的性質和計算]
1. 對于克萊姆法則求解的過程，我們看到Ax=0的情況，對應于每個解分量的克萊姆除法式，Xn=Dn/DA，Dn矩陣中有一個全為0的列向量，那么求行列式 的過程(全乘)結果肯定為0，所以方程組至少有個解向量就是[0,0,0,....]。這驗證了我們前面說的，空間直線/面相交于原點的情況。
2. 對于行列式除法，如果有分母等于0的情況，Ax=b就“可能“對應于無窮個解。當然，解之間符合一定的數學約束關系(例如3維空間中的某個直線方程)。舉個例子，x=1,y=1,x-y=0這3個平面交匯于直線(x=1,y=1)，那么分母行列式些出來就是
|1,0,0 |
|0,1,0 |
|1,-1,0|
第三個行向量是冗余的，它的行列式＝0。為什么說可能無窮個解(去窮個z)，因為b不同，可能還會導致無解。那么，我怎么知道有解還是無解呢? 那就要求出所有克萊姆除法式的分子，如果有分子分母同為0的情況，就是無解，例如x=1,y=1,x-y=1這3個平面兩兩相交，但是就是沒有公共的部 分，克萊姆解法求z分量的過程，克萊姆分子就是下面這個矩陣的行列式
|1,0,0 |
|0,1,0 |
|1,-1,1|
顯然行列式=0。
??? 克萊姆法則提供一個同用的解方程的方法：我們不再需要通過觀察數字拼湊的方式來消元了。當然，直接用克萊姆法則還是太復雜了。首先，隨著維數的升高，計算復雜度指數增加O(N!)，然后只有求出了所有的克萊姆分子行列式才能判斷是否有解，冗余度很高。所以我們需要進一步廣義地研究矩陣的特性，矩陣的秩，特征矩陣/向量/值，等等。我們需要從Ax=0推理到Ax=b。
3. 例子: 如果有電路如下，一共5個電阻，方括號中的是電阻值:
|-[1]-----[2]----|
|????|????????? |
|???[1]???????? |
|????|????????? |
|-[2]-----[1]----|
那么如果電路左端是1V電壓，電路右端接地，那么流經每個電阻的電流是多少?
??? 我們可以假設流經每個電阻的電流是x1,x2,x3,x4,x5(從上到下從左到右分別是x1,x2,x5,x3,x4),電壓有4個方程，電流分配有2個方程，顯然有一個方程是冗余的，沒關系，聯立求解就可以了。x1,x2,x3,x4作為變量:
x1+2x2=1
2x3+x4=1
x1+x4+x5=1
2x2+2x3-x5=1
x1-x2-x5=0
x3-x4+x5=0
1? 2 0 00??? 1
0? 0 2 10??? 1
1? 0 0 11??? 1
0? 2 2 0 -1?? 1
1 -1 0 0 -1?? 0
0? 0 1-1?1?? 0
->
1? 2 0 00??? 1
0? 0 2 10??? 1
0 -2 0 1 1??? 0 :
0? 2 2 0 -1?? 1->
0 -3 0 0 -1?? 0 :
0? 0 1-1?1?? 0
->
1? 2 0 00??? 1
0? 0 2 10??? 1
0? 0 2 1 0???1 :
0? 2 2 0 -1?? 1
0 -3 0 0 -1?? 0 :
0? 0 1-1?1?? 0
->
少一行
1? 2 0 00??? 1
0? 0 2 10??? 1 :
0? 2 2 0 -1?? 1
0 -3 0 0 -1?? 0 ->
0? 0 1-1 -1?? 0
->
1? 2 0 00??? 1
0? 0 2 10??? 1 :
0? 2 2 0 -1?? 1
0? 0 3 0 0.5? 1.5
0? 0 1-1 -1?? 0
->
1? 2 0 00??? 1
0? 0 2 10??? 1 :
0? 2 2 0 -1?? 1
0? 0 1-1 -1?? 0
0? 0 6 0 1???3
->
1? 2 0 00??? 1
0? 2 2 0 -1?? 1
0? 0 2 10??? 1 :
0? 0 1-1 -1?? 0?? ->
0? 0 0 67??? 3 :
->
1? 2 0 00??? 1
0? 2 2 0 -1?? 1
0? 0 2 10??? 1 :
0? 0 2-2 -2?? 0?? ->
0? 0 0 67??? 3 :
->
1? 2 0 00??? 1
0? 2 2 0 -1?? 1
0? 0 2 10??? 1 :
0? 0 0-3 -2? -1?? ->
0? 0 0 67??? 3 :
->
1? 2 0 00??? 1
0? 2 2 0 -1?? 1
0? 0 2 10??? 1 :
0? 0 0-3 -2? -1?? ->
0? 0 0 03??? 1 :
x5=1/3
->x4=1/9
->x3=4/9
->x2=2/9
->x1=5/9
??? 驗證一下，電壓，電流的結果都是正確的。
?
(三) 線性相關和秩的物理意義
什么是線性相關? 這兩個矢量(計算機里面用數組表示)v1和v2，如果v2可以從v1的某種乘除運算(幅度拉伸，方向轉換)，得到v2+K*v1=0，那么我們認為v2和 v1線性相關。例如，兩個直線方程，x+2y=0和2x+4y=0，他們的系數向量是(1,2)和(2,4)，顯然，他們是同一條直線。也就是說 (1,2)和(2,4)是線性相關的。同理，對于3維的情況，x=0,y=0,x=y這3個平面相交于Z軸，我們稱這3個平面關于Z軸線性相關，3個平面方程的系數向量之間可以從其中的任意兩個得到另外一個(1,0,0)+(0,1,0)=(1,1,0)。
???????說的抽象一點，線性相關就是，對于N個m維向量v1-vN，存在不全為0的一個系數向量K使得 v1*k1+v2*k2+v3*k3+...+vN*kN=0。換句話說，其中的某些向量，可以通過其他向量，對于其系數的四則運算和組合得到。如果3個 向量v1,v2,v3是線性無關的(顯然，v1,v2,v3都不是全0向量)，那么v1+v2,v2+v3,v1+v3這三個向量之間是什么關系? 其中的任何一個不能通過其他的兩個進行4則運算得到，所以仍然是一組線性無關的向量。
???????用圖形來表示線性相關的概念，上圖的3維空間中，中a,b,c是3個不共線的向量，n是垂直于a/b所在平面的向量:
(1)線性無關組構成線性空間，x/y/z構成空間，a/b/c如果不共面的話也能構成空間。空間是有不重疊的向量"張"成的。
(2)a/b/c雖然不兩兩垂直，但是保證不共面的情況下，仍然可以對其他向量做唯一的線性分解(投影)
(3)如果a/b/c不保證不共面，例如向量c在a/b張成的平面上，那么這個向量組的秩R=2，也就是這3個向量能表出某個2維空間的所有點集，但是3位空間中就有了很多點無法用a/b/c來線性表出，反映在方程組上就是無解。
(4)axb得到向量n，n和a/b所在面垂直------這個可以理解為n是a/b的正交補空間(高等代數)的一個"代表"(近世代數)。于是如果a/b/c要能張成3維的線性空間，就必須有c在n上面的投影不為0。此時c所在的子空間就是a/b構成的子空間的補。
(5)上面所謂的線性運算，也就是對+,*封閉，并且0元素的映射唯一。
(6)所謂矩陣A和B相抵，也就是A/B之間能用初等變換來互相轉化，相當于把一個點集用平面鏡經過若干次的反射映射到另外一個位置。這個點集的拓撲性質保持完全不變。線性映射是保形映射，保角映射，同坯映射，具有很好的"運算不變"特性。
??? Ax=b的解總是不多于Ax=0的解。這個很好理解: 例如，Ax=0如果是對應3維方程組的話，就是3個平面在3維空間的交點。如果不是交與一條線，也不重合，那么就交與原點(0,0,0)。好了，對于 Ax=b的情況怎么理解呢? 也就是這3個平面都做了一定的平移。那么如果平移的當，交點和原來一樣，只是平移到了(a,b,c)，但是也有可能這3個面平移的不正好相交，變成無解 了。這個分析的過程對應于矩陣的增廣矩陣分析。如果矩陣的秩不等于增廣矩陣的秩，那么相當于高斯消元法的過程出現了0=x(x非0)這樣的謬，也就是方程 組無解(沒有交點)。如果兩個秩相等，就相當于解的數量和原來一樣。
??? 那么，怎么理解秩，通解和特解呢? 還是拿3維平面舉例子(3維方程組)，如果系數矩陣的行列式為0，說明可以通過消元法去掉至少一個方程，就像上面說的x=0,y=0,x-y=0三個平面 的情況一樣，x=y可以通過前面兩個方程相減得到。系數矩陣的非相關向量個數=2，我們稱秩(rank)=2。好了，這個方程組的解有無數個(整個Z 軸)，寫成通解形式就是(x,y,z)=k(0,0,1)，k是任意實數。如果方程組是Ax=b呢，那么交點相當于平移到了(a,b,c)，通解形式就是 k(0,0,1)+(a,b,c)，這里(a,b,c)是特解，表示平移的基點。怎么求這個特解? 隨便代入一個x的值x0，求出y和z的對應值，但是結果(x0,y0,z0)不等于(a,b,c)，不要緊，k(0,0,1)填補了(x0,y0,z0) 和(a,b,c)之間的差。
??? 繼續推廣，前面說的Ax=b都是齊次線性方程組，如果A是非齊次的(m*n)呢，例如，有4個變量? 那么如果r(A)=2，說明只有兩個線性無關的矩陣向量，通解基的個數=max(m,n)-r(A)。這里，通解基個數=4-2=2。所以得到兩個方程的 時候，代入(x1,x2)=(1,0),(0,1)兩個向量，求出通解k1(x0,y0,1,0)+k2(x1,y1,0,1)。當然，代如 (x3,x4)=某個向量組合，效果一樣，因為線性相關性是對稱的。最后，求特解，代入一個任意的(x1,x2)組合求出特解(x,y,z,L)。再次推 廣，Ax=B，B也是一個矩陣，有解嗎? 只要保證r(系數矩陣)=r(增廣矩陣)就可以了，也就是保證高斯消元的過程，方程兩邊不出現0=非0的悖論。
??? 好了，為了說明線性相關，秩，通解之間的關系，我舉個例子。這個例子是線性代數的常見證明題：
??? 題目：已知A是m*n的矩陣，秩r(A)=m，存在矩陣使得AB=0有解，通解矢量個數為n-m。求證，對于任何矢量a使得Aa=0，那么必然有一個矢量b使得a=Bb。
??? 怎么證明呢? 要求證的東西其實就是，a可以表示為B的列向量的某種線性組合->也就是求證a總是可以由B的列向量線性表示。那么既然a是Ax=0的一個解，那么 就要求B的列向量必然是Ax=0的通解向量組成的矩陣，那么必然有AB=0的解的個數=n-r(A)=n-m，符合題設。倒過來寫就是證明的過程。
??? 求線性方程組通解的缺點: 求秩的過程依然用到了高斯消元法，沒有對應的計算機方法，全靠人為觀察。而且很多實際應用的情況下，方程組是沒有精確解的，根本求不出秩，為了求得近似解，要引入奇異值分解的方法，而這個方法又引出了：特征矩陣，特征值，特征向量。?
?(四) 特征向量物理意義
?[1. 特征的數學意義]
??????? 我們先考察一種線性變化，例如x,y坐標系的橢圓方程可以寫為x^2/a^2+y^2/b^2=1，那么坐標系關于原點做旋轉以后，橢圓方程就要發生變換。我們可以把原坐標系的(x,y)乘以一個矩陣，得到一個新的(x',y')的表示形式，寫為算子的形式就是(x,y)*M=(x',y')。這里的矩 陣M代表一種線性變換：拉伸，平移，旋轉。那么，有沒有什么樣的線性變換b(b是一個向量)，使得變換后的結果，看起來和讓(x,y)*b像是一個數b乘 以了一個數字m*b? 換句話說，有沒有這樣的矢量b，使得矩陣A*b這樣的線性變換相當于A在矢量b上面的投影m*b? 如果有，那么b就是A的一個特征向量，m就是對應的一個特征值。一個矩陣的特征向量可以有很多個。特征值可以用特征方程求出，特征向量可以有特征值對應的 方程組通解求出，反過來也一樣。例如，設A為3階實對稱矩陣，a1=(a,-a,1)T是Ax=0的解，a2=(a,1,-a)T是(A+E)x=0的解，a≠2,則常數a=? 因為a1=(a,-a,1)T是Ax=0的解,說明a1=(a,-a,1)T是A的屬于0的特征向量，a2=(a,1,-a)T是(A+E)x=0的解， 說明a2=(a,1,-a)T是A的屬于-1的特征向量。實對稱矩陣屬于不同特征值的特征向量式正交的，所以a^2-a-a=0,a≠2,所以a=0。
??????? 還是太抽象了，具體的說，求特征向量的關系，就是把矩陣A所代表的空間，進行正交分解，使得A的向量集合可以表示為每個向量a在各個特征向量上面的投影長 度。例如A是m*n的矩陣,n>m，那么特征向量就是m個(因為秩最大是m)，n個行向量在每個特征向量E上面有投影，其特征值v就是權重。那么每 個行向量現在就可以寫為Vn=(E1*v1n,E2*v2n...Em*vmn)，矩陣變成了方陣。如果矩陣的秩更小，矩陣的存儲還可以壓縮。再: 由于這些投影的大小代表了A在特征空間各個分量的投影，那么我們可以使用最小2乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，這樣最大限度地保 存了矩陣代表的信息，同時可以大大降低矩陣需要存儲的維度，簡稱PCA方法。
??????? 舉個例子，對于x,y平面上的一個點(x,y)，我對它作線性變換，(x,y)*[1,0;0,-1]，分號代表矩陣的換行，那么得到的結果就是 (x,-y)，這個線性變換相當于關于橫軸x做鏡像。我們可以求出矩陣[1,0;0,-1]的特征向量有兩個，[1,0]和[0,1]，也就是x軸和y 軸。什么意思呢? 在x軸上的投影，經過這個線性變換，沒有改變。在y軸上的投影，乘以了幅度系數-1，并沒有發生旋轉。兩個特征向量說明了這個線性變換矩陣對于x軸和y軸 這兩個正交基是線性不變的。對于其他的線性變換矩陣，我們也可以找到類似的，N個對稱軸，變換后的結果，關于這N個對稱軸線性不變。這N個對稱軸就是線性 變換A的N個特征向量。這就是特征向量的物理含義所在。所以，矩陣A等價于線性變換A。
??????? 對于實際應用的矩陣算法中，經常需要求矩陣的逆：當矩陣不是方陣的時候，無解，這是需要用到奇異值分解的辦法，也就是A=PSQ，P和Q是互逆的矩陣，而 S是一個方陣，然后就可以求出偽逆的值。同時，A=PSQ可以用來降低A的存儲維度，只要P是一個是瘦長形矩陣，Q是寬扁型矩陣。對于A非常大的情況可以 降低存儲量好幾個數量級。
[2. 物理意義]
??????? 特征向量有什么具體的物理意義? 例如一個駐波通過一條繩子，繩子上面的每個點組成一個無窮維的向量，這個向量的特征向量就是特征函數sin(t)，因為是時變的，就成了特征函數。每個點 特征值就是每個點在特定時刻的sin(x+t)取值。再如，從太空中某個角度看地球自轉，雖然每個景物的坐標在不斷的變換，但是這種變換關于地球的自傳軸有對稱性，也就是關于此軸的平移和拉伸的坐標變換不敏感。所以地球自轉軸，是地球自轉這種空間變換的一個特征向量。Google的PageRank，就是 對www鏈接關系的修正鄰接矩陣的，主要特征向量的投影分量，給出了頁面平分。有什么特性呢? AB和BA有相同的特征向量----設AB的特征向量為x，對應的特征值為b，則有(AB)x = bx，將上式兩邊左乘矩陣B，得B(AB)x = (BA)(Bx) = b(Bx)，故b為BA的特征值，對應的特征向量為Bx。反之亦然。
??????? 什么是特征矩陣和特征值？我們用整體論來考慮，假設P(A)=(1,2,3)是A的3個特征向量。那么P(A^2)就是(1^2,2^2,3^2)，P可 以看作是一種算子。當然，算子的特性是需要用部分/細節詳細證明的。一旦證明，就可以作為整體的特征。特征值有什么特性？說明矩陣可以分解成N維特征向量 的投影上面，這N個特征值就是各個投影方向上的長度。由于n*n矩陣A可以投影在一個正交向量空間里面，那么任何N維特征向量組成的矩陣都可以是線性投影 變換矩陣，那么I就是一個同用的線性變換投影矩陣。所以對于特征值m，一定有是夠成了一個沒有線性無關向量的矩陣Aa=ma兩邊同乘以I得到 Aa=maI，所以(A-mI)a=0有非0解，那么|A-mI|=0(可以用反正法，如果這個行列式不是0，那么N個向量線性無關，在N維空間中只能相交于原點，不可能有非0解)。所以可以推出一些很有用的性質，例如A=[1/2,1,1;0,1/3,1;0,0,1/5]，那么只要滿足|A- mI|=0的值就是特征值，顯然特征值數組立即可以得到(1/2,1/3,1/5)。一個n*n的矩陣A，秩=1，那么最大線性無關組=1組，特征向量=1個，任意n維非零向量都是A的特征向量。特征向量本身不是定死的，這就好比坐標系可以旋轉一樣。一旦特征向量的各個方向確定了，那么特征值向量也就 確定了。求特征值的過程就是用特征方程：|A-mE|=0,P(1/A)=1/P(A)，可以證明。有什么物理含義呢？一個N維線性無關的向量，去掉其中的一維，那么就有至少兩個向量是線性相關的了，所以行列式=0。特征矩陣有什么作用？把矩陣變化為正定矩陣，也就是A=P^-1BP，這樣的變換，A是對 角陣。
??????? 線性代數的研究，是把向量和矩陣作為一個整體，從部分的性質出發，推到出整體的性質，再由整體的性質得到各種應用和物理上的概念。當矩陣A是一個符號的時 候，它的性質會和實數a有很多相似的地方。科學的定理看起來總是遞歸著的。再舉一個例子，高數的基本概念有微分，積分，倒數，那么我立刻可以想到中值定理就應該有3個，形式上分別是微分，積分和倒數。
????
[3. 應用的場景]
??????? 線性變換的缺點：線性變換PCA可以用來處理圖像。如2維的人像識別：
1. 我們把圖像A看成矩陣，進一步看成線性變換矩陣，把這個訓練圖像的特征矩陣求出來(假設取了n個能量最大的特征向量)。用A乘以這個n個特征向量，得到一個n維矢量a，也就是A在特征空間的投影。
2. 今后在識別的時候同一類的圖像(例如，來自同一個人的面部照片)，認為是A的線性相關圖像，它乘以這個特征向量，得到n個數字組成的一個矢量b，也就是B在特征空間的投影。那么a和b之間的距離就是我們判斷B是不是A的準則。
??????? 不過，PCA有天生的缺點，就是線性矢量的相關性考察有"平移無關性"優點的同時，也完全忽略了，2維圖形中，矢量分量之間的順序是有意義的，順序不同可 以代表完全不同的信息。還有，就是圖像B必須是A的某種伸縮(由特征向量空間決定的)，才能被很好的投影到A的特征向量空間里面，如果B包含了A中的某種 旋轉因素，那么PCA可以徹底失效。所以實際應用中PCA的方法做圖像識別，識別率并不高，它要求圖像有某種嚴格的方向對齊和歸一化。所以PCA一般不用來做直接的特征提取而是用來做特征矩陣的降維。當然，降維的結果用于分類并不理想，我們可以進一步做最小二承法拉開類間距離的Fisher變換。但是 Fisher變換會引入新的弱點，那就是對于訓練類別的數據變得更敏感了，分類效果上升的代價是通用性下降，當類型數量急劇膨脹的時候，分類效果的函數仍然是直線下降的----但是還是比直接PCA的分類效果好得多。PCA"主觀"的認為，一個類型的第N+1個矩陣可以由之前已知的[1,N]個矩陣通過拉 成向量來線性表出。顯然這只是一個美好的主觀愿望，因為即使新的輸入矩陣是原有矩陣作了一些行列的初等變換如交換等，這種拉直以后的線性表出也可能根本就不存在(2維的PCA同樣無法克服這個客觀不存在的設定)，于是，當應用到實際的時候，只能試圖做優化沒，用最小二乘距離來判定，"認為"那個矩陣就是屬 于某個分類。由于PCA訓練的特征矩陣是一個類別一個矩陣，這些矩陣構成的子空間之間又無法保證正交，于是投影的結果也不具有根本意義上的分類特性。這個算法是個實用的算法，但是理論上根本就是無解。
??????? K-L變換是PCA的一個應用形式。假設圖像類型C有N個圖像，那么把每個圖像拉直成一個向量，N個圖像的向量組成一個矩陣，求矩陣的特征向量(列向 量)。那么用原來的N個圖像乘以這些列向量求出平均值，就是我們的特征圖像?？梢钥吹教卣鲌D像和原圖像有相似的地方，但是去掉了和拉伸，平移相關的一些形變信息。在得到了魯棒性的同時，犧牲了很多精確性。所以它比較適合特定范圍圖像的Verification工作，也就是判斷圖像P是不是屬于類型C。對比 一下神經網絡：說白了把函數y=f(x)的映射，變成了[y]=[f(x)]的向量映射。輸入輸出的點(entry)是固定的。而真實的神經系統，并沒有 明顯的內部處理和外部接口的區分。所以所有的神經網絡理論，名字上是神經網絡，實質上，差得很遠。
[4. 關于譜]
??????? 什么是"譜"(Spectrum)? 我們知道音樂是一個動態的過程，但是樂譜卻是在紙上的，靜態的存在。對于數學分析工具，研究時變函數的工具，可以研究傅立葉變換對應的頻率譜；對于概率問題，雖然每次投色子的結果不一樣，但是可以求出概率分布的功率譜密度。數學作為一種形而上學工具，研究的重點，就是這個變化世界當中那些不變的規律。
?
[5. 能用于分類嗎]
??????? 所謂的特征矩陣，就是原矩陣如何與一個x維的數量矩陣相似。Lamda(i)說明了相似投影與一個x維線性空間的第i維坐標軸，Lamda(i)是放縮比例。Lamda(i)之間的順序是不重要的，因為坐標軸之間的交換是初等線性變換，不影響代數拓撲的性質。特征向量xi表明A如何把線性組合投影到一個坐 標軸上。所謂的特征向量，就是一組正交基集合。
??????? 在圖像處理的問題域中，把圖像看成矩陣本身，那么圖像的分類問題就是同類矩陣被認為有相同或者代數近似的"不變量"。顯然，"同類"是一個主觀假設劃定的 類，而不是通過計算來"確定"的類。這導致了一個問題，所謂的不同類型，其意義是對于人的主觀理解能力而言，是先驗的，不是通過計算得到的后驗，它本身不代表任何數理邏輯上的可判定信息。如果以矩陣的特征向量或者特征值矩陣作為分類的信息，沒有任何證據能夠避免不同的"類"的矩陣能夠有更加近似的特征值。 所謂的矩陣分解方法，類內最小距離方法(Fisher)，都有一個令人不愉快地前提，那就是本身就要保證類內的矩陣，其歐式距離足夠小----這個歐式距 離的大小往往又和人的幾何拓撲直觀不符)。由于矩陣本身不具有預定義的拓撲學信息，那么同類圖像間歐式距離增加的時候，無法做到良好的分類。同時，圖像的類要分的越多，那么這種子空間之間的交疊現象就越嚴重，及時再去從每個類別的子空間中去尋找線性不變的子空間或者因子，也無法消除這種交疊性 ----Fisher算法試圖繞過去，但是卻付出了嚴重依賴初始數據的代價和失去通用性的代價。PCA算法試圖在統計的意義上得到最好的分類，但是當類型 數目增加的時候，以前的參數就作廢了，根本無法得到有用的計算流程。由于子空間之間的重疊無法解決，于是分類性便持續下降。原因是什么? 就是因為分類本身不是根據線性變換本身的代數特性去得到的，而是先驗的非線性"智慧"的人的判斷。于是，由于二元運算為離散集合作分類，必須在線性空間的 正交劃分中進行，導致了邏輯上的不可調和的悖論。非線性的判定是連續的，幾何拓撲的，無窮維德，不可分離變量的，根本就不可建模，于是也就是一個不可判定的問題。
??????? 那么不用高等代數的思想，實用信號處理的辦法提取局部的特征做比較可以達到分類么? 這個仍然沒有回答"先驗"分類的問題，仍然是在一個糟糕的前提下試圖尋找勉強能用的途徑。如何知道一個矩陣的局部其實對應于另一個矩陣上不同位置的局部呢? 這仍然只是一個主觀的，直覺主義的判定! 計算機不過是紙和筆的變形，它不能理解意義---即使1+1=2這樣的運算結果，它本身也不能判定對錯。如果它咨詢別的計算機來判斷對錯呢----別的計 算機又如何能自我證明對錯? 根本不能，必須等到一個主體的"人"來觀察這個結果，這個結果才會變得有意義。于是就像薛定諤的那只貓一樣，她正懶洋洋的曬著太陽沖我微笑呢。形而上學的理論在精妙，也沒有超出經驗主義的牢籠。
??????? 于是，我便不再需要算法，不再需要哲學。
?
(五) 曲線積分的物理意義
定積分的求解---牛頓.拉布尼茨公式有什么幾何意義??簡單的說，因為F(b)-F(a) 在幾何上是f(x)的原函數F(x)在y軸上的線段長度，那么這個長度如何表示呢? F(b)-F(a)可以寫成在區間[a,b]上面的累加Sigma(F'(x)*delta(x))，那么這個Sigma就是f(x)的定積分了。反向構 造的方法聯系了不定積分和定積分(圖1)。
???????太抽象了，舉個有物理含義的例子(圖2)。
1. 假設x/y平面是一個力場，一個質點在立場中受力，它受的力在x軸方向方向的投影值，恰好等于它的y坐標(力的正負代表方向)。
2.那么這個例子沿著曲線y^2=x，從(1,-1)移動到(1,1)，立場對它作了多少功?
???????我們可以畫出一個圖形，粒子在y的負半平面受的力總是向左的(負號)，在y的正半平面受的力總是向右的，所以立場一直在x軸方向對例子做正的功。做功的積 分式子分為兩個部分，(1,-1)到(0,0)的過程是S[x,1,0]，dx是負數，力y=x^0.5也是負數，負負得正。所以做的總 功=2*S[x,0,1](x^0.5)，這個解求很簡單了。那么如果立場還有一個y方向呢? 疊加的結果就是2*S[x,0,1]+S[y,-1,1]，寫成積分式子，就是對于坐標的曲線積分。
??????
????????格林公式(圖3)的意義在于:?
??????一維的定積分通過牛頓---萊布尼茨公式得到了完滿的解決，等于不定積分原函數的兩個取值之差。那么格林公式的意義呢? 曲線積分，分成dx和dy的兩部分分別證明?？紤]凸面曲線的情況，因為其他情況可以分解為若干個凸面曲線的情況。例如要證明格林公式中關于dy的部分，就 可以看作很多條平行于x軸的線穿過被積分的曲線，其中每一條直線和曲線交與兩點，靠近y軸左半平面的點記做Q1，靠近y軸右半平面的點記做Q2，那么根據 曲線積分的正向定義，逆時針方向，Q1點的微元dy是正的，Q2點的微元dy是負的。然后微元的和就是Q1*dy+Q2*(-dy)=(Q1- Q2)dy。好了，Q1-Q2又是多少呢? 由牛頓萊布尼茨公式得到它是Q2-Q1這條線段上Q'(x)的積分和。那么積分和的和就是一個2重積分。
????????用一個黎曼球面我們把|z|從0到無窮大的所有的矢量影射到了一個南北極的 球面上面(彩圖右上)，無窮的數域變成了有窮的數域。微分方程變成指數方程，純為粉方程類似線形代數的方程組由通解和特解組成解系；指數變成拉伸和旋轉，平面幾何的問題變成解析幾何的問題。舉個例子，如何判斷兩條直線是否垂直，那么z1(角度Theta1)和z2(角度Theta2)互相垂直相當于z1和 z2之間的夾角=正負 90度。由于復數的乘法包含了角度的相加，那么z2的共軛矢量角度就是-Theta2。它們兩個相乘的結果矢量角就是Theta1-Theta2，如果這個角度是90度，那么z1*z2'就應該是一個純虛數，反之，z1*z2'是個純虛數，就說明z1和z2垂直。所謂的"虛數"并不是不存在，而是它的值在 實數軸x上面的投影總是0。那么寫出來就是a+bi與c+di正交的充要條件就是ac+bd=0----看起來像是線形代數里面的[a,b]與[c,d] 互相正交的充要條件是矢量點乘=0。復數，確實是用線形代數的方式在研究高等數學，把函數的研究統一到了解析幾何。這里，代數和幾何沒有區別。
???????再舉一個例子，平面幾何的命題(圖4)：一個三角形AB=AC，AB上有線段mn,AC上有線段jk，長度mn=長度jk，證明mj的中點x和nk的中點 y，連線垂直于BC。這道題如果用初等數學平面幾何的性質，腦袋破了都很難證明，因為平面幾何的定理是用語言表述的某種性質，證明的過程也是和人對圖形的感性認識密切相關，例如垂直平分線，等腰三角形，這些自然語言的概念用起來太費勁，而且必須結合圖形本身來使用。OK，用復數來證明，使用一個形式語言的演算系統：
1. 假設AB是實數軸，AC是和AB夾角為a的向量，那么假設等腰邊長為l，那么AB=l,AC=l(cosa+isina)，BC=AC-BC=l(cosa-1 +isina)。
2. 假設mn和jk的長度為r，m=M+0i，j=M(cosa+isina)，那么n=M+r,k=(M+r)(cosa+isina)。
3. mj的中點就是d1=(m+j)/2，nk的中點就是d2=(n+k)/2，兩點之間的連線的方向矢量f1=d2-d1=(n+k-m-j)/2
4. BC的共軛矢量f2=l(cosa-1-isina)
5. f1*f2，去掉實系數=(cosa+1+isina)(cosa-1-isina)，實部=cosa^2-1+sina^2=0，所以是個純虛書，根據上例的結果，f1和f2垂直，證畢。
???????再舉一個證明題：平行四邊形對角線的平方和=相鄰對角線平方和的兩倍。那么設四邊形的兩條邊是矢量z1和z2，那么|z1+z2|^2+|z1-z2|^2=(z1+z2)(z1'+z2')+(z1-z2)(z1'-z2')=2z1z1'+2z2z2'=2(|z1|^2+|z2|^2)得 證。復數的函數(復變函數)往往具有對稱性的性質。如果f(z)=a0+a1z^1+...+anz^n=X+Yi，那么可以證明，f(z')=X- Yi。有什么作用嗎? 如果函數f(z)=0有解a+bi，那么a-bi也是解(顯然因為X=Y=0)。復數更重要的特征是矢量的方向性。一個直線過z1,z2的端點，那么方向 就是M(z2-z1)，直線方程就可以寫成點法式: z1+M(z2-z1)=Mz2+(1-M)z1。
???????朱力斯·華納有一幅很著名的畫叫做"神秘的島嶼"(彩圖左上)，這個畫的內容看起來是個探險的小島，但是把一個圓柱形的鏡面放到畫的中央，人們驚奇的發現其實這是作者的自畫像。如果這幅洋洋灑灑的油畫是代表了實數的問題，那些無窮無盡的無比復雜的現實問題，那么這個圓柱形的鏡子就是"復數"這樣一個發明， 它把無窮復雜的問題變成了有窮范圍內能表達的問題。由于一一映射的存在，實數域難以解決的問題通過映射和等效，在復數域通常能得到簡單的解答，再映射回實數域，便是問題的解。例如著名的莫比烏斯變換(彩圖右下)。
???????需要很好的考慮幾個問題:
1. 我們在把可積函數變成傅立葉級數的時候，曾經強調過，每個分量之間由于是三角函數族的成員，所以構成正交關系，所以顯然，分量之間沒有重疊，展開式顯然唯一。那么對于泰勒級數和復分析當中的洛朗級數而言，函數的冪級數展開式是否是唯一的? 我們主要到沒有任何條件限制規定展開分量之間必須構成正交關系。正交性并不必要，基不需要正交性。z和z^2線性無關（注意是“線性”）因為不存在c1和 c2\in R，使得c1*z + c2*z^2=0, 對于所有的z屬于R都成立(z是變量，可以任意取)。嚴格的說，“冪分量”不需正交，僅要線性無關即可。反證法，我們假設冪級數的分量之間是線形相關的，也就是存在常數k1-kn使得(k1(1是角標))k1x+k2x^2+k3x^3+...+knx^n =0。我們又知道前面這個方程，在復數域中僅有n個解，即0點僅有n個。故只有k1=k2=....=kn左端才恒為0(對于任意的z)，這就是線性無關 的條件，n任意個，即無窮個x^i都線性無關。當然這里線性空間是一個函數空間，其實x,x^2,...構成其一個基----所以k1-kn都是0， {z^n}構成的分量，是個線性無關的集合(兩兩之間)。
2. 為什么洛朗級數(彩圖紅色圓環)里面會有復數次冪? 我們去掉不解析的點，就得到了一些列圓環，這個圓環上作閉合路徑包圍一定的面積，就是里外兩條曲線，外圍曲線就是洛朗技術的n>=-1的冪次項，內 圍曲線是反方向的環繞無窮原點(很奇怪嗎? 只要把z平面映射到黎曼球面上，就會得到這個結論!)，是一個負數的積分結果，它的收斂半徑相反，我們把z用z的倒數來代替，就得到了和前半部分幾乎一樣 的表達式。所以洛朗級數的形式是Sigma從n=負無窮到正無窮的形式(完備)。特別的，如果圓環是圓餅，那么內環等于是不存在或者收縮到了一個點，也就是n<-1的那些負數次冪不存在了，函數解析，得到洛朗級數等于泰勒級數的結論。實變函數可以展開成泰勒級數----本質的意義不在于泰勒級數的導 數項，而是在于，函數可以展開成自變量所表達的一個冪級數求和表達式，這個有點像離散結構里面的P問題。那么對于復數，因為解釋函數的方向導數有無數個， 所以無法直接表示成泰勒級數，但是仍然可以寫成冪級數求和的形式----洛朗級數，同時，可以把泰勒級數看成洛朗級數在實軸方向上投影的特例。當然，這個 時候的冪級數系數不能再用導數來求了(切線逼近法)，而是使用一個積分。Taylor級數可以看作Lorent級數的特例。泰勒級數有個收斂域(x- x0,x+x0)和收斂條件x附近連續且可導。我們放到復數平面上來，收斂域就是一個圓，在x點處解析。但是如果不滿足解析條件呢? 對于一個復變量函數f(z)來說，如果它在某點是全純的（解析的），則它一定有Taylor級數，
????????
???????復平面的點和黎曼圓的點一一對應，所以所有的直線在無窮遠處必定相交，哪怕是平行線----這就是黎曼幾何不同于歐式幾何的一個地方。無窮遠的點集被映射成為N點--->于是留數基本定理，所有奇異點的留數和=0就很好理解了: 流體從各個有限奇異點流出，匯聚到無窮遠的奇異點，流入流出的總和=0。同理，如果黑洞是一個奇異點，那么當黑洞需要噴發的時候，噴發的方向顯然是阻力最 小的方向，和黑洞周圍的圓盤垂直的法向量。為什么復變函數里面會有那么怪異的柯西積分公式? 實際上還是從格林公式推導出來的，解析函數對于某點的圍線積分等于圍繞z0點本身的無窮小圓的積分，這個性質說明了解析函數的2維積分中值定理: f(z)可以從圍線的積分中值來求，反過來，一個積分可以看成是f(z)的洛朗級數展開的-1次項，于是1元積分學當中的許多問題就借助2元復變函數得以 解決了。
???????格林公式是把1維的圍線積分和2重積分聯系起來了，而復數則推廣了，一維的圍線積分(被積函數有不可導點)還可以等價于被積函數本身的取值。這真是一個簡 單而且美的結論----f(z)*2Pi*i的取值等于圍繞著z，f(w)/(z-w)做一圈封閉的曲線積分----當然和曲線的形狀無關。f(z)和非 z點的f(w)被這個方程式統一了起來，多么奇妙的一件事情。如果把z看成圓點(黑洞)，那么就是圓點這個黑洞的能量可以通過圍繞這個黑洞的一個曲線上的矢量積分來判定，黑洞變得可以測量了。另一方面，這個方程給出了解析的函數，各個點之間的某種相關性。一個點可以用其他的點集的某種積分來表示。
(六) 芝諾悖論并未解決
芝諾說，阿基里斯永遠追不上烏龜，因為追上一半的時候，還有一半，再追上一半的時候，還有剩 下的一半，繼續這樣遞歸的說下去，那么阿基里斯永遠追不上烏龜。那么，微積分產生了以后，這個問題能否解決呢？阿基里斯追趕烏龜的距離=1/2+1 /4+1/8+... ... 是個收斂的級數f，lim(f)=1，所以阿基里斯只用了一步(也就是1s)的花費就追上了烏龜。解決了嗎？
???????看起來很完美，慢一點，有一個漏洞，那就是對于無限求和序列，我們這里認為f=lim(f)。為什么相等？因為級數收斂->f=lim(f)。那么 為什么級數收斂就能推出f=lim(f)？因為f無限接近lim(f)。為什么f無限接近lim(f)？因為級數收斂?？闯鰜砹税?#xff0c;上面這個證明里面包含 了一個死循環。要證明f=lim(f)，這個等號的嚴格性，就相當于要證明f(x)=2^(-x)在x>0的范圍內，和x有個交點！而這是不可能證 明的。
???????f和lim(f)之之間始終存在差別，無論N多大，f和lim(f)都不相等，N無窮大的時候，他們之間相差一個無窮小的黑洞。只是這個黑洞的直徑為0， 意識沒有被黑洞俘獲而是進行了一個時間為0的量子跳變達到了黑洞的另一端----我看到了阿基里斯嗖的一下就超過了烏龜。
???????我可不可以證明在無窮遠處f(x)=2^(-x)和x軸有交點呢？想象一下這個圖吧，在頭腦哦里面畫一個無窮遠的x軸，它和x軸相交。那么交點右邊的曲線 呢？是不是根據中值定理這個曲線可以讓y取到負數？或者說無窮遠之所以是無窮遠，是因為它是盡頭，沒有更右邊了。那么如果有盡頭的話還是無窮遠嗎？N無窮 大，但是N＋1是不是仍然大于N？無窮遠存在嗎？我們看樣子解決了芝諾悖論，代價卻是引入了新的悖論----就像我們試圖達到莫比烏斯帶的終點一樣！！！！！！！以至于這個證明過程永遠在循環，證明的過程沒有盡頭----好像我們在爬一個沒有盡頭的梯子，似乎真理就在眼前伸手可及，卻發現自己無論沿著梯子攀登多少層，這個距離都沒有減少。這個證明的過程如果存在的話，也必將是無窮的! 就像無理數和超越數的存在一樣，根本無法用有限的代數表達式計算。
???????畢達哥拉斯說，如果宇宙停止讓他測量每個原子的狀態，他就能語言今后的一切。他犯了三個錯誤，一個錯誤是測量的過程中，測量者和測量工具本身的影響無法測量，就像沒有什么測量工具可可以測量自己一樣，這個測量不完整；第二個錯誤是，如果時間停止了，運動也就停止了，現象和特性也就停止了----光線停止了 傳播什么都看不見了，測量本身無法進行。第三個錯誤是，哪怕是再短的時間里面，都包含了無窮的信息，想想全宇宙有多少原子，所以要用有限的規律來表達的話，這個測量時間必須很短----以至于無窮小的時間可能都嫌長了。所以時空，物質，信息這三個制約因素決定了完整的測量是不可能的，完整的規律性認識也不會有任何可能。一切規律都是短視的偏執的猜測而已。
???????芝諾不是唯心主義者，是不可知論的祖先，反證一下畢氏的理論，我們看到，沒有絕對真理，未來不可預測，一切規律都是未知，量子理學的不可測理論，露出了它的微笑。
[奇異點的故事1]
???????阿基里斯在練習舉重，遇到烏龜。
???????烏龜問：50公斤重的沙袋你能舉起來嗎？
???????阿：像我這么強壯的人當然沒問題啦。
???????烏：500公斤的你能舉起來嗎？
???????阿：我不是擎天柱啊，500公斤的不行。
???????烏：100公斤的呢？
???????阿：十有八九能舉起來
???????烏：200公斤的呢？
???????阿：這得看我的狀態了，也許心情好的時候能舉起來，50%的概率吧。
???????烏：210公斤的呢？
???????阿：嗯，可能40%概率
???????烏：250公斤的呢?
???????阿：1%的概率
???????烏：260公斤的呢?
???????阿：0.01%的概率，呵呵，你給我增加重量，我能舉起來的的概率就逐漸減少，趨近于0了。
???????烏：那究竟什么時候這個趨近于0的概率會變成0，就像500公斤的概率是絕對值0那樣?
???????阿：(無語)... ...
???????阿基里斯遇到了一個奇異點問題：他知道存在一個奇異點，連接=0和>0但是非常接近于0這兩個概念。但是這個點究竟在哪里，根本無法證明：因為任何 證明都是荒謬的。但是阿基里斯明明的感覺這個點是存在的，但就是說不出來，只能安慰自己。"存在一個這樣的點，收斂到它的極限等于被研究的對象本身"。這句話是不可證明的，但是又明顯的成立。所以，標量和矢量的方法實效了，阿基里斯只能求助于集合論和形式語言：存在量詞可以表述，一定有這樣的一個點。但是 究竟這個點在哪里，我不用關心。
???????看看數學分析，關于極限的問題，各種存在性定理，中值定理，收斂的問題，不都是阿基里斯舉的那個沙袋0點么。如果一個關于數的概念，例如x*x=2，x是 多少，答案本身不能用數來表示，但是又是唯一確切的答案，我們就發明一個形式的符號(根號)，來彌補數字本身表達能力的缺陷。數是不完整的，不完備的，所 謂的"概念"在很多情況下連自身都無法表述。
[奇異點的故事2]
????????同樣是喜歡研究問題，愛叫直。一次和一個西安籍的朋友出去下館子，他點菜，羊肉泡饃+羊蝎子。要知道對于一個南方人來說，第一次吃這個不亞于受刑----我看著他吃的津津有味，他看著我吃的滿臉愁容，于是一場對話開始了:
???????"這個東西你覺得味道怎么樣?"
???????"味道還可以"，處于禮貌，不能打擊自己的朋友，"就是還不太習慣"
???????"你就直接說難吃不就行了嗎"
???????"哈哈，你為什么覺得好吃呢"，我反問。
???????"我從小就覺得好吃啊"
???????"那我怎么沒覺得那么好吃呢?"，我繼續質疑。
???????"可能你心里有畏懼感"
???????"如果你也是第一次吃，你能保證它好吃么?"
???????"嗯，這個也難說，也許你多吃幾次就覺得好吃了?"
???????"那么，你說這個羊肉泡饃好吃，并不是因為它本身好吃了，而是僅僅是你習慣了它的味道"
???????"也許是吧，也許習慣就是一種美"
???????"那么也就是說，如果我們習慣一種東西，我們就能接受它，然后就覺得這個東西很好----就像如果從小我們覺得胖就是美，那么胖妞就會有很多人追"
???????"似乎也有道理。不過我更覺得一個好的東西，美的東西，應該是一種我們所期盼的東西。比如說你想要甜味，你吃到了甜味，你就說好吃"
???????"一個男人想象抱著一個美女，既然要抱的穩，那么美女的腰就不能粗，所以現實中美女標準有個細腰"
???????"嗯，似乎是這樣，也就是說不是因為美女有細腰我們就覺得細腰就是美，而是我們打心里盼望細腰這種東西，然后去套，去打分，然后判斷誰是不是美女"
???????"這么說來，判斷的標準不是來自外界，而是只是來自我們的內心"
???????"就像數學里面的點線面一樣，到現實里面去抓一個過來看看? 其實只是我們心里的概念而已"
???????"美女還有什么標準嗎?"
???????"想象你喜歡的東西: 光滑的感覺，清馨的口氣，柔軟的材質，那么美女的標準必定就是皓齒紅唇，冰肌膚玉骨，這個和你買一塊玉時的標準是一樣的，美就是內心的盼望，不是客觀的標準"
???????"好了，還是回到吃飯問題上面來。你為什么覺得這個好吃或者不好吃"
???????"好吃是因為這個味道是我在吃之前就盼望到了的，我知道我將得到什么味道，吃的過程也是如我所愿；而對于沒有吃過的東西，它的味道遠離我們的期盼，自然會引起我們的反感"
???????"也就是說，所謂的美感，就是我們自己的愿望被認同和被實現而已"
???????"不錯，就像聽音樂一樣，為什么卡農那么好聽? 因為我聽到前面幾個音符的時候，我心里已經大概知道后面幾個音符是什么了。如果我不能預測后面的音符，那么幾乎沒有疑問我聽到的是高斯白噪聲"
???????"嗯，美就是自我的實現，概念也是自我的實現，甚至科學，也是自我的實現"
???????"就像柏拉圖說的，知識也是來自于冥想"
???????"至少我覺得無法駁倒"
???????"虛數單位i存在嗎，怎么證明?"
???????"只存在于我們的心理，甚至實數1也是只存在于我們的心理，無法證明"
???????真理似乎是一種思想的和諧，就像卡農一樣，不是層次的高低，而是自我的一種纏繞。那些數學的概念，復數，分析，極限，無窮，展開，逼近，正交，對偶，集 合，空間，群，推演，與其說是反映了自然之美和宇宙之美，與其說是數學本身的美感，不如說是來自我們內心的一種美的意識和愿望，已經對"簡單和美"的主管 盼望。美不來自客體世界，美只來自我們的內心，我們按照這種愿望來構建真理和揭示宇宙。而那個客體的世界，似乎只是一對概率變化的和隨機過程鏈接著的無意義，只是因為我們睜開了眼睛，意義便產生了。
(七) 正交和相關的物理意義
先說到底什么是正交？這是一個令人頭疼的事情。x,y平面上恒縱坐標夾角90度，我們稱這兩個軸正交----其實這個回答和"身上沒有毛的，兩個腿走路的，我們稱這是人"是同一類解釋，根本就沒有正面回答，如何對正交下定義。
??????? 事情是這樣的，對于2維平面上面的一個點，我們用坐標表示一個點，也就是一個向量，向量的數組形式是(x,y)，復數形式是(x+yi)(這個表示是唯一 的。3維空間的情況類似，(x,y,z)和x+iy+jz)。x+yi在x軸的投影是x，和y無關；在y軸的投影是x，與x無關。所以x/y軸構成互相無 關的一組投影矢量，我們就說x軸和y軸正交。正交投影向量組成一個正交矩陣[x軸;y軸]，分號代表換行。但是如果我們在x/y平面再畫一跟軸出來，例如 x,y軸之間夾角45度的一條線z，那么點(x,y)如果寫成(x,y,z)的形式就不止一種了。(1,1)可以表示為(0.5,0.5,0.5*根號2 分之一)，或者(0.3,0.3,0.7*根號2分之一)，這樣的投影結果不止一種，所以[x軸,y軸,z軸]這個投影矩陣對于2維平面是有冗余的，應該 去掉其中之一使得這個投影的形式唯一確定。
??????? 好了，綜上所述，正交的定義是：一組基礎向量a1,a2,...an，它們之間的關系是，某個向量v在各個ax上面的投影分解，表達式唯一?；蛘弑硎?為，a1-an當中的任意向量，在其他向量上面的投影都是0。我們稱a1-an之間的關系為互相正交。然后，這n個互相正交的向量，共同構成了一個n維的 空間。在這個空間里面，任何其他的向量都可以分解成n個正交投影的矢量和。特別的，N維空間可以用n個正交向量表示，這種n個正交向量本身，可以有無數種 形式，只要他們之間保持正交就可以了。x/y平面的正交向量集合可以是[x軸,y軸]，也可以是x/y軸繞著原點，分別旋轉一個角度以后的兩個軸(當然保 持90夾角不變)。
??????? 消元有什么物理意義嗎，做個具體的分析。一個2x2的矩陣A，是一個方程組Ax=b的系數矩陣。那么這2個方程表示了2維平面上的兩條直線。那么我應用消 元法：方程組(x+y=2,x+2y=3)第2個行向量減去第一個行向量，得到新的方程組(x+y=2,y=1)，這個方程組和原方程組通解，不同的是 x+2y=3繞著交點(方程的解)旋轉到了y=1。所以，求解方程組的過程，就是尋找同解方程的過程。消元法是"合法合理"的求解方程組的過程。那么求行 列式的過程呢，消元是否影響最后結果？只需證明一個通用變量的情況就可以了，其他的遞推就行。
??????? 說了物理意義以及思想來源。沒有憑空創造出來的數學概念，高數所以高等，是因為能解決一些經典數學很難解決的問題，并且用一種一致和優雅的辦法對多種不同的問題都有效果。
??????? 再說說線性代數里面的一些純粹數學上的特性。
->??? 行列式是若干個乘積的加和，那么每個分式都有一個符號，由(x坐標的逆序+y坐標的逆序)決定。如果這個加和是偶數，那么分式取正號，否則取負號。例如 2345....n1的逆序是多少呢? 無論那種方法重排達到正序的過程，中間次數都是相差2x，所以不影響符號。這里我們考慮把最后的'1'用冒泡的方式上升到第一位，所以逆序=n-1。
->??? 一個數m乘以一個方陣，相當于方陣的每個元素e都成了m*e。那么行列式分式的每一項都乘以了m^n，所以|m*A|=m^n|A|。例題：設A是 m*m，B是n*n，C是個分塊矩陣，C=[0,A;B,0]，那么C的行列式是多少? 考慮逆序的情況，A的m個列，每個列經過n次移位以后，C'=[A,0;0,B]，移位次數=m*n，所以|C|=(-1)^(m*n)|C|= (-1)^(m*n)*|A|*|B|。
->??? 如果矩陣的某一行乘以m，那么|A'|=m*|A|。例題：3階矩陣A和B，A=[a,2x,3y]，B=[b,x,y],|A|=18,|B|=2，求|A-B|=? 解：|A-B|=|[a-b,x,2y]|=2*|[a-b,x,y]|=2*|[a,x,y]|-2*|[|b,x,y]|=(1/3)*|a,2x,3y|-2|B|=2
->??? 上面用到了一個很重要的行列式對于向量分解的特性，|[a-b,xxxx]|=|a,xxxx|-|b,xxxx|。|A|-|B|=|[a1-b1,a2-b2...an-bn]|這個可以通過代數余子式的特性證明。再舉個例子，A是一個方陣
|x1+1,x1+2,...x1+n|
|x1+1,x1+2,...x1+n|
|....,....,.......|
|x1+1,x1+2,...x1+n|,那么A的行列式是多少?當n大于2時，第一列+第三列=第2列*2，線性相關了，所以行列式=0。n=2時,容易算出|A|=x1-x2。
??????? 實際當中沒有所謂"連續"的東西，量子也是一份一份的傳播的。那么y=f(x)是什么呢？無數個x點對應的y點的集合。不考慮不同x之間間距，或者認為間隔無窮小，那么y=f(x)就可以寫成一個向量的形式(y1,y2,y3,y4...yn)，其中的下標是x的離散取值。在離散的情況下，x只是下標序 列，本身失去了物理意義。所以，真實的世界沒有嚴格的傅立葉變換，只有DFT,FFT,Z變換序列等等存在(計算機當中也是如此)。那么，高等數學中函數 的計算(連續)實際上，就是線性代數里面的線性(離散)變換。這里數學的兩個分支被量子理學統一起來了。
?????? 考慮y=f(x)(周期為T)的傅立葉級數展開形式----它相當于，在一個T內f(x)是無窮維向量(y1,y2,y3,...,yn...)，f(x)的傅立葉級數展開式就是f(x)在無窮維正交基(e^jnw)上面有投影，這個正交基是從低頻到高頻 的一些列三角函數組合。每一個投影的系數是一個長度。那么e^jnw組成的正交基就是的任何f(x)的特征向量，不同的是，不同f(x)對應不同的特征值 向量。一個N維的向量空間，N個正交矢量不是定死的，而可以是任意的向量值組合，只要保持互相兩兩正交就可以了。例如我想構造3維的正交基，我隨手寫下 (1,0,1)，那么(0,1,2)，(0,0,1)就可以是剩下的兩個向量。為什么？一般的說，向量e1,e2,e3是正交基，那么 e1+e2,e2+e3,e1+e3這三個向量也可以構成正交基。
??????? 那么如果一條繩子上有個駐波sin(t)在傳播，那么繩子向量(s1,...sn)(n為無窮大)，可以投影到一個特征向量函數sin(t)上面。如果 f(x)=sin(t)+sin(2t)呢？顯然，兩個特征函數，依次類推，我們竟然得到傅立葉級數展開----也就是因為三角級數本身可以作為投影的基 準，可以分解任何函數。所以三角函數就是特征向量函數，頻率分析的值就是特征值。說得遠一點，任何數學分析最后都可以用頻譜分析來代替。這也就是"信號與 系統"，"數字信號處理"，"通信原理"，"概率和隨機過程"這些課程，怎么看起來都是在玩頻率游戲和功率譜游戲的原因----學完以后經常會感覺自己什 么都沒有學會。因為在物理層，信息的"意義"并不存在，只有傳輸和設計的電子/數學特性有意義。通信協議都是高層次的東西，和"通信原理"無關。在底層只 有物理意義，沒有邏輯意義。
(八) 二次型和解析幾何
----------二次型到底干了什么------------
已知: 在圓球x^2+y^2+z^2=1上面有點(x,y,z)
求f(x,y,z)=xy-yz-xz的極值。
?
??? 解:
f(x,y,z)=t(T)*A*t,t=(x,y,z)(T),A=
|0, 1/2, 1/2|
|1/2, 0 -1/2|
|1/2,-1/2, 0|,約束條件x^2+y^2+z^2=1,也就是t(T)*t=1,t(T)表示t的轉置矩陣
把f變成標準型，P(T)*A*P=D,D=diag(1/2,1/2,-1),P=(就是求解特征向量和特征矩陣的過程)
|1/sqr2, 1/sqr6, 1/sqr3|
|1/sqr2,-1/sqr6,-1/sqr3|
|0,?????2/sqr6,-1/sqr3|,sqr代表根號運算，P是個正交矩陣，滿足P(T)*P=E
所以f=t(T)*A*t=t(T)*PDP(T)*t,令P(T)*t=t',則f=t'(T)*D*t'... (1)
約束條件變成了t(T)*t=(Pt')(T)*P*t'=t'(T)*P(T)*P*t'=t'(T)t'=E...(2)
所以根據上面兩個式子有了變換
f=0.5x'^2+0.5y'^2-z'^2，約束條件x'^2+y'^2+z'^2=1,
f=0.5-1.5z'^2,而由約束條件得，z'的取值范圍(-1,1)
所以f的范圍是(-1,1/2)
-----------------------------------------------------------------
??? 看出來了什么嗎? 2次型的標準型就是一種坐標變換的對角化, 通過一個正交變換，正交變換是保持向量的長度（范數）不變的，也保持兩個向量的夾角不變，有點像剛體。這實質上是再做一個旋轉，將二次型化到主軸上。有一個定理（schur定理）也與這個問題相關。這個內容很復雜的，因為二次型十分重要。在上面的那個例子里面，單位球旋轉以后還是單位球，所以約束條件沒有改變。坐標變換把約束條件投影到了3個軸上面。初等的坐標系變換技巧，在2次型的強大威力面前顯得多么的蒼白。如果我用拉格朗日數乘法求解了，則過程很繁雜
?? 例：已知向量x=(x1,x2,x3),模的平方|x|^2=2，求f()=(x1+x2)^2+(x2-x3)^2+(x1+x3)^2的最大值。那么:
xT*x=x1^2+x2^2+x3^2=2, x1,x2,x3在半徑=根號2的圓上面
所以f=2(x1^2+x2^2+x3^2+x1x2-x2x3+x1x3)
=4+2(x1x2-x2x3+x1x3)
所以只需要求出x1x2-x2x3+x1x3的最大值
假設f1=x1x2-x2x3+x1x3
???f2=x1^2+x2^2+x3^2-2
拉格朗日乘數法:
G(x1,x2,x3)=f1+Mf2，M是個實數，那么有偏導數=0
G'(x1)=x2+x3-2Mx1...(1)
G'(x2)=x1-x3+2Mx2...(2)
G'(x3)=x1-x2+2Mx3...(3)
f2(x1,x2,x3)=0...(4)
解上面的4元方程組，由(2)和(3)得到x2=x3，再結合(1)得到x1=-x2,再代入(4)
M=1,x1=(根號6)/3,x2=x3=-(根號6)/3,x1x2-x2x3+x1x3=-1
或者
M=1,x1==-(根號6)/3,x2=x3=(根號6)/3,x1x2-x2x3+x1x3=-1
或者
M=-1/2,x1=x2+x3,代入x1x2-x2x3+x1x3=x1(x2+x3)-x2x3=x2^2+x3^2+x2x3=0.5((x2+x3)^2+x2^2+x3^2)=0.5(x1^2+x2^2+x3^2)=1這個就是最大值
所以f(max)=4+2*1=6
---------------------------------------------------------------
??? 例子: 3維空間中，一個平面通過直線(x-7)/3=(y-8)/4=(z-9)/5，且經過點(1,1,1).求這個平面的方程。說明平面過點（7，8，9） 和點（1，1，1），兩點方向向量為（6，7，8），且它平行于矢量 ｛3，4，5｝，所以要求的平面方程為：
| x-1???y-1?? z-1? |
|3?????? 4???? 5??|????? =? 0
| 6??????7?????8?? |
得x-2y+z=0。怎么理解上面這個行列式呢? 因為知道了平面上兩條直線的方向矢量，那么平面的法矢量就是兩個方向矢量的叉乘
|?i????j???k??|
|3????4?? 5??|????? 求出來就是法向量。
| 6???7?? 8?? |
??? 如果題設換一下，一個面過直線(x-3)/5=(y-4)/6=(z-5)/7，且和單位球面x^2+y^2+z^2=1相切，求這個面的方程。設球上得切點為（x0,y0,z0)，這點處的法向量為(2x0,2y0,2z0)，又因為直線的向量為(5.6.7) 在這個面中還有（x0-3,y0-4,z0-5)向量，所以法向量和兩個直線向量垂直。????????
10x0+12y0+14zo=0...(1)
2xo(xo-3)+2yo(y0-4)+2z0(zo-5)=0...(2)
又因為點在球上? 所以x0^2+y0^2+z0^2=1...(3)
3個方程，3個未知數，得切點即可，就得到法向量（2xo.2y0.2z0） 應該有兩個
再寫出方程即可2x0（x-3）+2y0（y-4）+2z0（z-5）=0
(九) 線性代數的本質
線性代數(Linear Algebra)，能否用一句話概括那些"線性方程組"，"線性相關"，"特征值和特征向量"，"對角化和相似"，"二次型和喬丹化"，都是干了什么樣的一件事情?
???????可以！這句話就是"線性變換"！----線性代數一切知識的本質，或者叫做"坐標系的變換和投影"。
?
???????考慮這樣一個例子，在(x,y)坐標系當中有一個點(a,b)，問在什么坐標系里面這個點對應(b,a)? 顯然，把x軸和y軸對調一下，寫成矩陣-向量乘法的形式就是:
[0,1][a]
[1,0][b]=[b,a]
???????看清楚了嗎，(x,y)到(x',y')的映射就是x'=(0x+1y),y'=(1x+0y)這樣的一個線性變換，矩陣的乘法實現了坐標系的對調。同理，看下面幾個矩陣:
[1,0]___[2,0]___[0,2]___[1,-1]___[1,0]
[0,1]___[0,3]___[3,0]___[1,1]___[1,-1]
???????我們可以通過計算來看出，上面5個矩陣：第一個矩陣是單位矩陣E，也就是把(x,y)映射到(x',y')保持不變；第二個矩陣映射以后變量的長度(或者 叫模，1范數)有變換，向量的角度不變；第3個矩陣對調x/y軸，并且有伸縮；第4個矩陣把x/y逆時針旋轉45度，模變成原來的根號2倍；第5個矩陣是 對x軸做對稱，把y變成-y。2維空間上的線性變換可以用復數乘法來替代，但是更高維的變換就只能借助于矩陣乘法。
???????OK，既然矩陣相當于一種坐標系的旋轉和投影(x/y到x'/y')，那么我們從這個角度來看線性代數的知識體系。
(1) 線性方程組AX=B，也就是說，B是x'/y'坐標系一個向量(b1,b2,b3...bn)，矩陣A是(x/y)到(x'/y')的映射，能否找到X= (x1,...xn)使得X被映射到B。如果找到了一個，那么這個映射就是唯一的，當然映射也可能沒有，也可能有無數種可能的情況。
(2) 那么，什么情況AX=B的解是唯一的呢? 滿足行列式|A|!=0。為了滿足|A|!=0，必須有a的行向量線性無關，也就是a的每一行都是一個獨立的坐標軸，沒有冗余的坐標軸。所以坐標系映射的自變量和因變量也就因此一一對應，所以總是有且只有一個解。
(3) 什么情況下無解呢? A的行向量有冗余，最大線性無關(無冗余的坐標系個數)，或者秩R(A)=r，但是發現需要通過r個坐標軸的映射，得到s維德映射結果(s>r)。 顯然無解(找不到低維到高維的一一映射)。同理，如果s<r，那么有無數個解(通解，一對多的映射)，s=r正好也是一個解。
???????矩陣的對角化，揭示了矩陣作為一種線性變換的手段的本質。矩陣的意義就是線性變換，線性變換符合加法律，所以矩陣有加法的結合率和交換律。
???????那么特征值和特征向量的意義，也就很明顯了。假設N維坐標系(i1,i2...in)映射到新的坐標系(j1,j2,j3...jn)，既然矩陣A代表一 種映射關系，那么這種映射關系可以分解為模的伸縮和角度旋轉。A=P^(-1)*B*P，B是特征值構成的矩陣，那么每一個特征值，相當于坐標ix映射到 jx的那一維的坐標，其模的伸縮比例是多少?？赡婢仃嘝的每一個列向量代表的就是新的坐標系相當于原有的坐標系如何投影過來----Pi的每一個分量就是 (i1...in)在ji上面投影的大小。矩陣對角陣的分解式A=P^(-1)*B*P代表了這樣一種信息: 把原坐標系(i1,i2...in)進行旋轉(P矩陣)，并且幅度進行伸縮(B矩陣)，再做一次鏡像的反轉(P^(-1)，因為旋轉本身不具有反轉的功能，那么就是原矩陣A的線性變換功能的全部了。
???????矩陣，就是旋轉+鏡像翻轉+尺度伸縮。這就是一切線性代數和矩陣理論要研究的問題，無出其外。一個應用的例子就是控制論，系統從狀態A變換到狀態B(A和 B都是矢量)其實就是看是否存在轉移矩陣X使得XA=B，或者一些列轉移矩陣{X}已知，看看是否存在初始A使得系統狀態能夠變成要求的狀態B，或者已知 A和{X}看是否能經過一系列變換得到B。下面幾幅圖來自<<Visual ComplexAnalysis>>，畫的是復數域(2x2線性變換空間的)的尺度拉伸，平移，旋轉，直角平面和極坐標圓平面之間的線性變換。
(十) 國際象棋的車和象---從數論到代數
?能否用數學來表達和解釋這個問題，對于國際象棋而言：
1. 車的走動，兩個方向，夾角90度?？梢宰弑樗械母褡?。
2. 象的走動，兩個方向，夾角90度，但是永遠只能走同色的格子。
???????為什么? 我們用幾種不同的方法來證明。
1. 用數論的方法,小學程度就能理解。考慮不變量。設象的走棋變化量(offset)的橫縱坐標為(x, y)，考慮x+y。象的走法，x+y的奇偶性是不變的。要么走不了偶數位置，要么走不了奇數位置。而棋盤上面相鄰點，奇偶性是有不變的也有變化的，所以象走不全。
???????這個證法不嚴格。什么是"相鄰"就沒有嚴格的定義和形式化的表述，而是采用了歐式幾何的直觀想象和描述，充滿了含糊不清的"必然""顯然"這樣的概念。本 身也沒有先驗的證明"白格的坐標和都是奇數""黑格的坐標和都是偶數"這樣的引理(不采用集合論的觀點用自然語言是無法證明的，因為涉及到一個無窮的列舉 問題)，而是認為這個不需要證明顯然成立(繞過去了)。過程本身缺少形式化的嚴密性。
?
2. 用矩陣和線性變換的思想(中學水平完全可以學習和理解矩陣理論)。假設我起始坐標是(x1,y1)，終點是(x2,y2)，車的走動就是一個線性變換 ([x,0],[0,y])，象的走動是線性變換([x,x],[y,-y])，其中x/y都是整數。我們把x1/y1映射成x2/y2，就是看方程組有沒有解。顯然，車的轉移矩陣|A|!=0所以有解，因為x/y的任意性，車可以走遍所有的格子。而象的映射矩陣|A|=0，那么根據擴展矩陣的秩，它可能 有解，也可能沒有解。所以存在一些格子是象走不到的。證明完了，但是有一個遺憾，不能證明象能走到的格子一定是車的一半，而且不能證明顏色格的不可跨越性。
?
3. 群論----這個是大學水平了。2維平面上，Z*Z 是一個加群(取值離散，整數)，子集{(1, 0),(0, 1)}是能生成整個群，但是{(1, 1),(-1, 1)}只能生成兩個分量奇偶相同的元素。問題的表述和證明得到的嚴格的形式化，結論客觀，完整，簡潔，遠超上面兩種方法。
????????人以群分----前提是人就是一個群，所以可以找到分類! 這就像伊斯蘭地毯的2維圖形，其模式一定是17種模式之一(已由數學證明)。集合是可分類的(ZFC集合論的理論基礎)!
???????什么是空間? 扔開具體的物理3維空間考察數學的概念，空間就是一個集合，同時滿足限制條件：集合每個元素都恰好有n個屬性，而且這n個屬性順序不能顛倒，n個屬性相同的元素必然相等(只有一個)。于是，一個集合，每個元素都有3個屬性，就叫做一個數學上的3維空間(注意，比物理的定義更廣義)。
???????集合論是數學的基本理論。數學分析的時候討論收斂，"在xxxx的鄰域內"，這個鄰域的結構是拿來就用的，并沒有給出過嚴格定義，我們只是通過歐式幾何式的直觀想象認為顯然應該存在這么一個東西----直到拓撲結構才給出了鄰域的嚴格定義。
???????幾何的根本問題是度量，這個詞語本身中文和外文的詞根都是來自丈量土地。丈量的根本前提是距離的度量。如果被度量是表面是一個平面，那么就是經典的歐式幾何；如果是一個大范圍的度量，例如地球的航海度量；或者宇宙空間中受到引力的空間，其平面都從一個無限的平直表面坍縮成了一個橢球面(物理規律受引力作用不再是直線的作用)，于是有了黎曼幾何。在微觀世界，量子的不可測性把平面分裂成了對稱的兩個雙曲面，于是有了羅氏幾何。他們都是數學模型，都是為了精確的度量物理存在。幾何和物理是密不可分的。
???????那么又怎么度量呢? 這是個人為的標準，距離不是客觀存在的，距離是對客體觀測后得到的概念。我們把度量的過程看成一個函數映射(泛函的方法尋找函數)，那么考慮使用一個叫 做"范數"的概念來表達這種度量。曼哈頓距離是1范數，歐式直線距離時二范數，還有N范數各自代表不同的意義。這個范數是為了滿足某些我們想要的性質而人為構造出來的，是向量空間向標量空間的一個映射(數和量的統一，幾何到代數的映射)。當我們找到了這樣的一個函數的時候，我們就叫N范數，用雙直 線||x||表示。如果一個向量空間上面的元素/關系都能被這個范數映射到標量空間中，我們就把這個向量空間叫做賦范空間----也就是這個空間的元素，存在某種可以度量的屬性，具有廣義的幾何意義。一個N維的矢量空間加上一個內積的定義就是一個N維賦范空間。
???????群又是什么? 空間中的某個元素可以通過其他元素的組合和變換來得到，是線性相關的集合的集合，表達的是一種屬性之間的關系。國際象棋8x8棋盤上，每個格子的坐標就構 成了一個群，這個群的最小化子集合是{(1,0),(0,1)}，通過最小化的子集合的運算(分型)我們可以得到整個群，而矩陣則是這種分型的幾何過程的 描述。
???????集合是一個基本概念(http://www.douban.com/group/topic/5308346)，在這個概念的基礎上加條件，做演繹，就得到了N多的引申概念和知識。公理體系的建立總是在一些非常基本的概念的屬性的基礎上得來的，這個從歐式幾何就開始了。雖然東方的數學很多具體的知識和結論的獲得，都早于西歐，但是公理化體系的形成，形式化的描述，定理的推理和演繹，從來都沒有真正的形成過，直到明代的李光啟翻譯幾何原本的時候才感嘆西人的 高明不在于結論和知識的高超，而是思維和邏輯體系的縝密，問題邊界的劃分，公論的提出，演繹的嚴格。
???????眼光放的尺度大一點，歐式的神學，哲學，數學，其他的科學和學問，無不是建立在公理系統和演繹之上的。一切的法律須從憲法，所有的定理須從公理，必須從一個樹根去分型得到整個大樹----這樣整體和部分才能和諧和沒有矛盾；x86的架構的學習不是學Pentium，酷銳，而是從樹根8086學起；新的功能 的添加保持后向兼容，也就是保持樹根不變的情況下繼續分型，而不是推倒了重新種一棵大樹。公理系統的穩定性，在于公設的強壯性。如果公設可能被輕易推倒，那么整個大廈將傾。儒學如果也是一個公理系統的話，那么它的公設基本就是三字經的第一句話"人之初，性本善"。很可惜，到底什么是"人"都沒有定義清楚 (柏拉圖認識到了這是社會學研究的根本問題和出發點)，什么是"善惡"都沒有定義清楚(到底是一種客觀標準還是主觀標準)，便開始了四書五經洋洋灑灑的演 繹和推論，這套理論是不是像在沙灘上面建房子。房子很漂亮，但是風一吹就倒，于是每隔若干年就不得出重建----而且只是責怪建筑材料自己的質量不好而毫 不考慮這房子原來是沒有任何堅實的基礎的。
?
總結
- 上一篇： 硬件软件接口 (RISC-V) Chap
- 下一篇： 手把手建项目 PrimeNG安装使用