1.1 函数间隔和几何间隔理解1
轉載地址:?https://www.jianshu.com/p/2e3c0c583e85
1、函數間隔
我們的函數間隔定義為:
可以看到,函數間隔其實就是類別標簽乘上了f(x)的值,可以看到,該值永遠是大于等于0的,正好符合了距離的概念,距離總不能是負的吧。那么為什么該值可以表示數據點到超平面的距離呢?我們不妨這樣想,假設y=1,f(x)=1,其實就是將原來的分類超平面f(x) 向右平移了1個單位,而y=1,f(x)=2是將原來的分類超平面f(x) 向右平移了2個單位,所以f(x)值越大的點到分類超平面的距離當然越遠,這就解釋了我們之前提出的問題。
但是函數間隔存在一定的問題,上述定義的函數間隔雖然可以表示分類預測的正確性和確信度,但在選擇分類 超平面時,只有函數間隔還遠遠不夠,因為如果成比例的改變 w 和 b,如將他們改變為 2w 和 2b,雖然此時超 平面沒有改變,但函數間隔的值 yf (x) 卻變成了原來的 4 倍。
所以在實際中,我們定義點到超平面的距離時,采用的是幾何間隔。
?
2、幾何間隔
在介紹幾何間隔之前,我們先來看一下下圖:
?
對應的為 x0,由于 w 是垂直于超平面的一個向量,r 為樣本 x 到分類間隔的距離,我們有:
要理解這個式子,我們首先需要知道為什么w是垂直于超平面的向量,其實舉個例子就很容易明白,假設超平面的公式為 x1+x2-1 = 0
w=(1,1)T(表示轉置):
另一方面,要想使r表示距離,我們必須對w進行標準化,所以需要除以它的二范數。
又由于 x0 是超平面上的點,滿足 f(x0) = 0,代入超平面的方程即可算出:
這個式子是如何推導的呢,看下面的過程:
字寫的比較爛,希望大家不要介意。
不過這里的 γ 是帶符號的,我們需要的只是它的絕對值,因此類似地,也乘上對應的類別 y 即可,因此實際上我們定義幾何間隔為:
幾何間隔
可以看到,此時系數的成倍的變化,不會帶來幾何間隔的改變。數學功底比較深厚的童鞋可能發現了,這里的幾何間隔其實就是我們本科高等數學中學到的點到直線的距離公式,這里我們順手就將其推倒出來了,是不是很有成就感!
?
?
?
總結
以上是生活随笔為你收集整理的1.1 函数间隔和几何间隔理解1的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2.3 KNN-采用机器学习库来预测鸢尾
- 下一篇: 1.2 函数间隔和几何间隔理解2