1 范數(shù)

向量的范數(shù)可以簡(jiǎn)單形象的理解為向量的長(zhǎng)度，或者向量到零點(diǎn)的距離，或者相應(yīng)的兩個(gè)點(diǎn)之間的距離。

向量的范數(shù)定義：向量的范數(shù)是一個(gè)函數(shù)||x||,滿(mǎn)足非負(fù)性||x|| >= 0，齊次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的范數(shù)：
L1范數(shù): ?||x|| 為x向量各個(gè)元素絕對(duì)值之和。
L2范數(shù): ?||x||為x向量各個(gè)元素平方和的1/2次方，L2范數(shù)又稱(chēng)Euclidean范數(shù)或者Frobenius范數(shù)
Lp范數(shù): ?||x||為x向量各個(gè)元素絕對(duì)值p次方和的1/p次方

L∞范數(shù): ?||x||為x向量各個(gè)元素絕對(duì)值最大那個(gè)元素的絕對(duì)值，如下：

橢球向量范數(shù): ||x||A ?= sqrt[T(x)Ax]， T(x)代表x的轉(zhuǎn)置。定義矩陣C 為M個(gè)模式向量的協(xié)方差矩陣， 設(shè)C’是其逆矩陣，則Mahalanobis距離定義為||x||C’ ?= sqrt[T(x)C’x], 這是一個(gè)關(guān)于C’的橢球向量范數(shù)。

2 距離

歐式距離（對(duì)應(yīng)L2范數(shù)）：最常見(jiàn)的兩點(diǎn)之間或多點(diǎn)之間的距離表示法，又稱(chēng)之為歐幾里得度量，它定義于歐幾里得空間中。n維空間中兩個(gè)點(diǎn)x1(x11,x12,…,x1n)與 x2(x21,x22,…,x2n)間的歐氏距離：

也可以用表示成向量運(yùn)算的形式：

曼哈頓距離：曼哈頓距離對(duì)應(yīng)L1-范數(shù)，也就是在歐幾里得空間的固定直角坐標(biāo)系上兩點(diǎn)所形成的線(xiàn)段對(duì)軸產(chǎn)生的投影的距離總和。例如在平面上，坐標(biāo)（x1, y1）的點(diǎn)P1與坐標(biāo)（x2, y2）的點(diǎn)P2的曼哈頓距離為：，要注意的是，曼哈頓距離依賴(lài)座標(biāo)系統(tǒng)的轉(zhuǎn)度，而非系統(tǒng)在座標(biāo)軸上的平移或映射。

切比雪夫距離，若二個(gè)向量或二個(gè)點(diǎn)x1和x2，其坐標(biāo)分別為(x11, x12, x13, … , x1n)和(x21, x22, x23, … , x2n)，則二者的切比雪夫距離為：d = max(|x1i - x2i|)，i從1到n。對(duì)應(yīng)L∞范數(shù)。

閔可夫斯基距離(Minkowski?Distance)，閔氏距離不是一種距離，而是一組距離的定義。對(duì)應(yīng)Lp范數(shù)，p為參數(shù)。

閔氏距離的定義：兩個(gè)n維變量（或者兩個(gè)n維空間點(diǎn)）x1(x11,x12,…,x1n)與?x2(x21,x22,…,x2n)間的閔可夫斯基距離定義為：?

其中p是一個(gè)變參數(shù)。

當(dāng)p=1時(shí)，就是曼哈頓距離，

當(dāng)p=2時(shí)，就是歐氏距離，

當(dāng)p→∞時(shí)，就是切比雪夫距離， ? ? ??

根據(jù)變參數(shù)的不同，閔氏距離可以表示一類(lèi)的距離。?

Mahalanobis距離：也稱(chēng)作馬氏距離。在近鄰分類(lèi)法中，常采用歐式距離和馬氏距離。

3 在機(jī)器學(xué)習(xí)中的應(yīng)用

L1范數(shù)和L2范數(shù)，用于機(jī)器學(xué)習(xí)的L1正則化、L2正則化。對(duì)于線(xiàn)性回歸模型，使用L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸（嶺回歸）。

其作用是：

L1正則化是指權(quán)值向量w中各個(gè)元素的絕對(duì)值之和，可以產(chǎn)生稀疏權(quán)值矩陣（稀疏矩陣指的是很多元素為0，只有少數(shù)元素是非零值的矩陣，即得到的線(xiàn)性回歸模型的大部分系數(shù)都是0.?），即產(chǎn)生一個(gè)稀疏模型，可以用于特征選擇；

L2正則化是指權(quán)值向量w中各個(gè)元素的平方和然后再求平方根，可以防止模型過(guò)擬合（overfitting）；一定程度上，L1也可以防止過(guò)擬合。

至于為什么L1正則化能增加稀疏性，L2正則化能防止過(guò)擬合，原理可查看參考資料。

參考資料：

http://blog.csdn.net/v_july_v/article/details/8203674

http://blog.csdn.net/jinping_shi/article/details/52433975

總結(jié)

以上是生活随笔為你收集整理的几种常用范数与距离的关系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。