序言

1、符號(hào)主義、貝葉斯派、聯(lián)結(jié)主義、進(jìn)化主義、行為類(lèi)比主義（機(jī)器學(xué)習(xí)的五大流派）：

參考：本書(shū)1.5節(jié)及https://blog.csdn.net/rogerchen1983/article/details/79681463；

第一章 緒論

1、1997年，Tom Mitchell對(duì)機(jī)器學(xué)習(xí)的定義引入了三個(gè)概念：經(jīng)驗(yàn)Experience（E）、任務(wù)Task（T）、任務(wù)完成效果的衡量指標(biāo)Performance measure（P）。將機(jī)器學(xué)習(xí)定義為：假設(shè)用P來(lái)評(píng)估計(jì)算機(jī)程序在某任務(wù)類(lèi)T上的性能，若一個(gè)程序通過(guò)利用經(jīng)驗(yàn)E在T中任務(wù)上獲得了性能改善，則我們說(shuō)關(guān)于T和P，該程序?qū)進(jìn)行了學(xué)習(xí)。即在有了經(jīng)驗(yàn)E的幫助后，機(jī)器完成任務(wù)T的衡量指標(biāo)P變得更好了。

2、奧卡姆剃刀原理：“如無(wú)必要，勿增實(shí)體”，即“簡(jiǎn)單有效原理”。周志華西瓜書(shū)中描述為：“若有多個(gè)假設(shè)與觀(guān)察一致，則選擇最簡(jiǎn)單的那個(gè)”。

3、沒(méi)有免費(fèi)的午餐定理：沒(méi)有免費(fèi)午餐定理(No Free Lunch，簡(jiǎn)稱(chēng)NFL)，該定理的結(jié)論是，由于對(duì)所有可能函數(shù)的相互補(bǔ)償，最優(yōu)化算法的性能是等價(jià)的。即脫離具體的問(wèn)題，空泛地談?wù)摗笆裁磳W(xué)習(xí)算法最好”毫無(wú)意義。

第二章 模型評(píng)估與選擇

1、P問(wèn)題、NP問(wèn)題、NPC問(wèn)題 NP hard問(wèn)題

在計(jì)算機(jī)領(lǐng)域，一般可以將問(wèn)題分為可解問(wèn)題和不可解問(wèn)題。不可解問(wèn)題也可以分為兩類(lèi)：一類(lèi)如停機(jī)問(wèn)題，的確無(wú)解；另一類(lèi)雖然有解，但時(shí)間復(fù)雜度很高。可解問(wèn)題也分為多項(xiàng)式問(wèn)題(Polynomial Problem，P問(wèn)題)和非確定性多項(xiàng)式問(wèn)題(NondeterministicPolynomial Problem，NP問(wèn)題)。

2.、評(píng)估模型泛化誤差的方法

　　2.1、留出法

　　2.2、交叉驗(yàn)證法（k次交叉驗(yàn)證、p次k折交叉驗(yàn)證、留一法）

　　　　適用于數(shù)據(jù)量足夠的情況；

　　　　任何評(píng)估方法不一定比其他評(píng)估方法更準(zhǔn)確，“沒(méi)有免費(fèi)的午餐”定理對(duì)實(shí)驗(yàn)評(píng)估方法同樣適用。

　　2.3、自助法

　　　　適用于數(shù)據(jù)集較小、難以進(jìn)行有效劃分訓(xùn)練/測(cè)試集的情況。能從初始數(shù)據(jù)中產(chǎn)生多個(gè)不同的訓(xùn)練集，對(duì)集成學(xué)習(xí)有較大好處。但自助法產(chǎn)生的數(shù)據(jù)集改變了初始數(shù)據(jù)的分布，會(huì)引入估計(jì)偏差。

3.、評(píng)估不同模型泛化性能（分隔出驗(yàn)證集進(jìn)行調(diào)參，并在測(cè)試集上進(jìn)行測(cè)試）

　　將樣本數(shù)據(jù)集分為測(cè)試集和訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)進(jìn)一步分為訓(xùn)練集和驗(yàn)證集。使用驗(yàn)證集進(jìn)行模型的選擇和調(diào)參，使用測(cè)試集來(lái)估計(jì)模型在實(shí)際使用時(shí)的泛化能力。

　　訓(xùn)練集、驗(yàn)證集、測(cè)試集：

4、性能度量（評(píng)估模型的泛化性能）

　　4.1、回歸任務(wù)：將模型預(yù)測(cè)結(jié)果與真實(shí)值進(jìn)行比較，計(jì)算“誤差”，如：

　　　　　　　　　　①：歐式、曼哈頓、切比雪夫距離、閔可夫斯基距離，如：回歸任務(wù)中常用均方誤差；

　　　　　　　　　　②：余弦距離；

　　　　　　　　　　③：漢明距離；

　　　　　　　　　　④：馬哈拉諾斯比斯距離；

　　　　　　　　　　⑤：相關(guān)系數(shù)；

　　4.2、分類(lèi)任務(wù)： ①：錯(cuò)誤率、精度；

　　　　　　　　　　②：二分類(lèi)任務(wù)：混淆矩陣、查準(zhǔn)率、查全率、P-R曲線(xiàn)（查準(zhǔn)率-查全率曲線(xiàn)）圖、面積度量標(biāo)準(zhǔn)（度量學(xué)習(xí)器的查準(zhǔn)率、查全率性能）、平衡點(diǎn)（BEP）性能度量標(biāo)準(zhǔn)、F1度量標(biāo)準(zhǔn)、Fβ度量標(biāo)準(zhǔn)；

　　　　　　　　　　③：多分類(lèi)任務(wù)：兩兩類(lèi)別之間組建n個(gè)混淆矩陣、宏查準(zhǔn)率、宏查全率、宏F1、微查準(zhǔn)率、微查全率、微F1；

　　　　　　　　　　④：ROC曲線(xiàn)（真正例TPR率-假正例FPR率曲線(xiàn)）、AUC面積度量法；

　　　　　　　　　　⑤：代價(jià)敏感錯(cuò)誤率、代價(jià)曲線(xiàn)；

5、比較檢驗(yàn)（以錯(cuò)誤率為例，分析學(xué)習(xí)器的泛化性能是否良好？有多大的把握（顯著度）？）

　　5.1、概率論知識(shí)補(bǔ)充

　　常用離散型分布：?jiǎn)吸c(diǎn)分布（退化分布）、(0-1)分布（兩點(diǎn)分布或伯努利分布）、二項(xiàng)分布、負(fù)二項(xiàng)分布（帕斯卡分布）、幾何分布、超幾何分布、泊松分布；

　　常用連續(xù)型分布：均勻分布、正態(tài)分布（高斯分布）、對(duì)數(shù)正態(tài)分布、逆高斯分布、Γ分布( 伽瑪分布 ) 、指數(shù)分布（負(fù)指數(shù)分布）、卡方分布、非中心卡方分布、韋布爾分布、

拉普拉斯分布、瑞利分布、帕雷托分布、極值分布、邏輯斯蒂分布、β分布 、柯西分布、t 分布（學(xué)生氏分布）、非中心 t 分布、F分布、非中心 F分布；

　　5.2、常用的分布

　　參考：https://zhuanlan.zhihu.com/p/47609519

　　5.3、常用的分布所解決的問(wèn)題

　　大數(shù)定理：在隨機(jī)事件的大量重復(fù)出現(xiàn)中，往往呈現(xiàn)幾乎必然的規(guī)律，這個(gè)規(guī)律就是大數(shù)定律。

　　0-1分布（兩點(diǎn)分布或伯努利分布）、均勻分布：一次隨機(jī)事件發(fā)生某一結(jié)果的概率；

　　二項(xiàng)分布、超幾何分布：n次伯努利試驗(yàn)（或有放回抽樣試驗(yàn)）中事件A恰好發(fā)生k次的概率。超幾何分布為不放回抽樣時(shí)的概率；

　　幾何分布、負(fù)二項(xiàng)分布：前k-1次皆失敗，第k次成功的概率。負(fù)二項(xiàng)分布為r次失敗（成功）前成功（失敗）的次數(shù)；

　　泊松分布：特定時(shí)間里發(fā)生n個(gè)事件的機(jī)率。當(dāng)二項(xiàng)分布的n很大而p很小時(shí)，泊松分布可作為二項(xiàng)分布的近似，其中λ為np。通常當(dāng)n≧20,p≦0.05時(shí)，就可以用泊松分布近似計(jì)算。事實(shí)上，泊松分布正是由二項(xiàng)分布推導(dǎo)而來(lái)的；

　　指數(shù)分布：要等到一個(gè)隨機(jī)事件發(fā)生，需要經(jīng)歷多久時(shí)間。給定一個(gè)某段時(shí)間內(nèi)發(fā)生次數(shù)遵循泊松分布的事件，那么事件間隔時(shí)間遵循參數(shù)λ相同的指數(shù)分布。

　　正態(tài)分布：

　　　　中心極限定理：①：獨(dú)立同分布的中心極限定理：在實(shí)際工作中，只要n足夠大，便可以把獨(dú)立同分布的隨機(jī)變量之和當(dāng)作正態(tài)變量；

　　　　　　　　　　　②：棣莫佛－拉普拉斯定理：正態(tài)分布是二項(xiàng)分布的極限分布；

　　　　　　　　　　　③：不同分布的中心極限定理：隨機(jī)變量如果是有大量獨(dú)立的而且均勻的隨機(jī)變量相加而成，那么它的分布將近似于正態(tài)分布。

　　t分布、卡方分布：t分布用于推斷正態(tài)分布的均值。檢驗(yàn)基于觀(guān)測(cè)值和理論值的差（假定差遵循正態(tài)分布）的平方和；

　　伽瑪分布和貝塔分布：伽瑪分布可以用來(lái)建模接下來(lái)第n個(gè)事件發(fā)生前的時(shí)間。Beta分布是一個(gè)定義在[0,1]區(qū)間上的連續(xù)概率分布族，它有兩個(gè)正值參數(shù)，稱(chēng)為形狀參數(shù)，一般用αα和ββ表示。在貝葉斯推斷中，Beta分布是Bernoulli、二項(xiàng)分布、負(fù)二項(xiàng)分布和幾何分布的共軛先驗(yàn)分布；

　　5.4、常用區(qū)間估計(jì)與假設(shè)檢驗(yàn)公式表

　　參考：https://wenku.baidu.com/view/1ae0a2b8a56e58fafab069dc5022aaea998f41ef.html

　　5.5、常用假設(shè)檢驗(yàn)

　　參考：https://www.cnblogs.com/hust-chen/p/8643973.html

　　5.6、不同學(xué)習(xí)器，相同測(cè)試集，交叉驗(yàn)證t檢驗(yàn)

　　5.7、不同學(xué)習(xí)器，相同測(cè)試集，McNemar

　　5.8、不同學(xué)習(xí)器，不同測(cè)試集，F(xiàn)riedman檢驗(yàn)與Nemenyi后驗(yàn)

6、偏差與方差

　　偏差刻畫(huà)了學(xué)習(xí)算法本身的擬合能力；（欠擬合）；

　　方差刻畫(huà)了數(shù)據(jù)擾動(dòng)所造成的影響；（過(guò)擬合）；

　　噪聲刻畫(huà)了學(xué)習(xí)問(wèn)題本身的難易程度；

附錄 常用概率分布間的關(guān)系

　　參考：http://www.math.wm.edu/~leemis/chart/UDR/UDR.html

　　　　　http://www.math.wm.edu/~leemis/2008amstat.pdf

　　

總結(jié)

以上是生活随笔為你收集整理的西瓜书学习笔记（一）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。