第一篇 監(jiān)督學(xué)習(xí)

第一章 統(tǒng)計(jì)學(xué)習(xí)及監(jiān)督學(xué)習(xí)概論

1.1 統(tǒng)計(jì)學(xué)習(xí)

統(tǒng)計(jì)學(xué)習(xí)是關(guān)于計(jì)算機(jī)基于數(shù)據(jù)構(gòu)建概率統(tǒng)計(jì)模型并運(yùn)用模型對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)與分析的一門學(xué)科，也稱統(tǒng)計(jì)機(jī)器學(xué)習(xí)，也就是我們俗稱的機(jī)器學(xué)習(xí)。

統(tǒng)計(jì)學(xué)習(xí)的特點(diǎn)：

1. 以計(jì)算機(jī)及網(wǎng)絡(luò)為平臺(tái)
2. 以數(shù)據(jù)為研究對(duì)象，是數(shù)據(jù)驅(qū)動(dòng)的學(xué)科
3. 以對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)與分析為目的
4. 以方法為中心，構(gòu)建模型并應(yīng)用模型進(jìn)行預(yù)測(cè)與分析
5. 是概率論、統(tǒng)計(jì)學(xué)、信息論、計(jì)算理論、最優(yōu)化理論及計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科

定義：

如果一個(gè)系統(tǒng)能夠通過執(zhí)行某個(gè)過程改進(jìn)它的性能，這就是學(xué)習(xí) - 赫爾伯特·西蒙

方法：

從給定的、有限的、用于學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集合出發(fā)，假設(shè)數(shù)據(jù)是獨(dú)立同分布產(chǎn)生的；并且假設(shè)要學(xué)習(xí)的模型屬于某個(gè)函數(shù)的集合，稱為假設(shè)空間；應(yīng)用某個(gè)評(píng)價(jià)準(zhǔn)則，從假設(shè)空間中選取一個(gè)最優(yōu)模型，使它對(duì)已知的訓(xùn)練數(shù)據(jù)及未知的測(cè)試數(shù)據(jù)在給定的評(píng)價(jià)準(zhǔn)則下有最優(yōu)的預(yù)測(cè)；最優(yōu)模型的選取由算法實(shí)現(xiàn)。

三要素：

模型、策略和算法。

實(shí)現(xiàn)步驟：

1. 得到一個(gè)有限的訓(xùn)練數(shù)據(jù)集合；
2. 確定包含所有可能的模型的假設(shè)空間，即學(xué)習(xí)模型的集合；
3. 確定模型選擇的準(zhǔn)則，即學(xué)習(xí)的策略；
4. 實(shí)現(xiàn)求解最優(yōu)模型的算法，即學(xué)習(xí)的算法；
5. 通過學(xué)習(xí)方法選擇最優(yōu)模型；
6. 利用學(xué)習(xí)的最優(yōu)模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)或分析。

統(tǒng)計(jì)學(xué)習(xí)的重要性的體現(xiàn)：

1. 統(tǒng)計(jì)學(xué)習(xí)方法是處理海量數(shù)據(jù)的有效方法；
2. 統(tǒng)計(jì)學(xué)習(xí)是計(jì)算機(jī)智能化的有效手段；
3. 統(tǒng)計(jì)學(xué)習(xí)是計(jì)算機(jī)科學(xué)發(fā)展的一個(gè)重要組成部分。

1.2 統(tǒng)計(jì)學(xué)習(xí)的分類

1.2.1 基本分類

1. 監(jiān)督學(xué)習(xí)：從標(biāo)注數(shù)據(jù)中學(xué)習(xí)預(yù)測(cè)模型的機(jī)器學(xué)習(xí)問題

   1. 輸入空間、特征空間與輸出空間

      1. 輸入與輸出所有可能的取值的集合分別稱為輸入空間與輸出空間

      2. 每個(gè)具體的輸入是一個(gè)實(shí)例，通常由特征向量表示，所有特征向量存在的空間稱為特征空間

      3. 輸入變量習(xí)慣寫作X，輸出變量習(xí)慣寫作Y，其取值分別寫作x和y

      4. 輸入實(shí)例x的特征向量記作：

         x=(x(1),x2,x(i),...x(n))x=(x^{(1)},x^{2},x^{(i)},...x^{(n)}) x=(x(1),x2,x(i),...x(n))

      5. 監(jiān)督學(xué)習(xí)從訓(xùn)練數(shù)據(jù)集合中學(xué)習(xí)模型，對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)。訓(xùn)練數(shù)據(jù)由輸入與輸出對(duì)組成，訓(xùn)練集通常表示為：

         T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x1,y1),(x2,y2),...,(xN,yN)\} T={(x1,y1),(x2,y2),...,(xN,yN)}

      6. 測(cè)試數(shù)據(jù)也由輸入與輸出對(duì)組成

   2. 假設(shè)空間

      1. 監(jiān)督學(xué)習(xí)的目的在于學(xué)習(xí)一個(gè)由輸入到輸出的映射，這一應(yīng)設(shè)有模型來表示
      2. 模型屬于由輸入空間到輸出空間的映射的集合，這個(gè)集合就是假設(shè)空間

2. 無監(jiān)督學(xué)習(xí)：從無標(biāo)注數(shù)據(jù)中學(xué)習(xí)預(yù)測(cè)模型的機(jī)器學(xué)習(xí)問題

   1. 無監(jiān)督學(xué)習(xí)的輸入空間等與監(jiān)督學(xué)習(xí)相似，不再贅述

3. 強(qiáng)化學(xué)習(xí)：智能系統(tǒng)在與環(huán)境的連續(xù)互動(dòng)中，學(xué)習(xí)最優(yōu)行為策略的機(jī)器學(xué)習(xí)問題

   1. 假設(shè)智能系統(tǒng)與環(huán)境的互動(dòng)基于馬爾可夫決策過程，智能系統(tǒng)能觀測(cè)到的是與環(huán)境互動(dòng)得到的數(shù)據(jù)序列。強(qiáng)化學(xué)習(xí)的本質(zhì)是學(xué)習(xí)最優(yōu)的序貫決策。
   2. 強(qiáng)化學(xué)習(xí)的馬爾可夫決策過程是狀態(tài)、獎(jiǎng)勵(lì)、動(dòng)作序列上的隨機(jī)過程，由五元組（S,A,P,r,γ）組成。
      1. S是有限狀態(tài)的集合
      2. A是有限動(dòng)作的集合
      3. P是狀態(tài)轉(zhuǎn)移概率函數(shù)
      4. r是獎(jiǎng)勵(lì)函數(shù)
      5. γ是衰減函數(shù)

4. 半監(jiān)督學(xué)習(xí)與主動(dòng)學(xué)習(xí)

   1. 半監(jiān)督學(xué)習(xí)是指利用標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)學(xué)習(xí)預(yù)測(cè)模型的機(jī)器學(xué)習(xí)問題，通常有少量標(biāo)注數(shù)據(jù)大量未標(biāo)注數(shù)據(jù)。
   2. 主動(dòng)學(xué)習(xí)是指機(jī)器不斷主動(dòng)給出實(shí)例讓教師進(jìn)行標(biāo)注，然后利用標(biāo)注數(shù)據(jù)學(xué)習(xí)預(yù)測(cè)模型的機(jī)器學(xué)習(xí)問題。

1.2.2 按模型分類

總結(jié)

以上是生活随笔為你收集整理的统计学习方法第二版知识点合集 - 自用笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。