机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
前言:
上次寫過一篇關于貝葉斯概率論的數學,最近時間比較緊,coding的任務比較重,不過還是抽空看了一些機器學習的書和視頻,其中很推薦兩個:一個是stanford的machine learning公開課,在verycd可下載,可惜沒有翻譯。不過還是可以看。另外一個是prml-pattern recognition and machine learning, Bishop的一部反響不錯的書,而且是2008年的,算是比較新的一本書了。
前幾天還準備寫一個分布式計算的系列,只寫了個開頭,又換到寫這個系列了。以后看哪邊的心得更多,就寫哪一個系列吧。最近干的事情比較雜,有跟機器學習相關的,有跟數學相關的,也有跟分布式相關的。
這個系列主要想能夠用數學去描述機器學習,想要學好機器學習,首先得去理解其中的數學意義,不一定要到能夠輕松自如的推導中間的公式,不過至少得認識這些式子吧,不然看一些相關的論文可就看不懂了,這個系列主要將會著重于去機器學習的數學描述這個部分,將會覆蓋但不一定局限于回歸、聚類、分類等算法。
回歸與梯度下降:
回歸在數學上來說是給定一個點集,能夠用一條曲線去擬合之,如果這個曲線是一條直線,那就被稱為線性回歸,如果曲線是一條二次曲線,就被稱為二次回歸,回歸還有很多的變種,如locally weighted回歸,logistic回歸,等等,這個將在后面去講。
用一個很簡單的
總結
以上是生活随笔為你收集整理的机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 单变量线性回归程序实现
- 下一篇: 偏最小二乘法回归(Partial Lea