人工智能：第七章 机器学习
第七章機器學習
教學內容：機器學習是繼專家系統之后人工智能應用的又一重要研究領域。本章主要介紹機器學習的有關知識及其主要的幾種學習方法，并介紹了知識發現的相關內容。
教學重點：機器學習的基本結構、類比學習、神經學習、知識發現
教學難點：學習系統的結構，知識發現的處理過程，
教學方法：課堂教學為主。注意結合學生已學的內容。及時提問、收集學生學習情況，多實用具體實例來加以說明，注意難易結合，將課程講述得較為淺顯易懂。
教學要求：重點掌握類比學習和知識發現，掌握機器學習的發展史和神經學習，了解解釋學習、歸納學習，一般了解機械學習。
7.1 機器學習的定義和發展歷史
教學內容：本小節主要介紹了機器學習的定義以及其發展的過程，為后面的進一步學習打下基礎。
教學重點：機器學習的定義
教學難點：對定義的準確把握和理解
教學方法：通過舉例引入機器學習的定義，在講述發展歷史時，簡介各階段的具體產物，讓學生有較為具體的感受和體會。
教學要求：重點掌握機器學習的定義，了解機器學習的發展史。
7.1.1 機器學習的定義
1.機器學習的基本概念：
按照人工智能大師西蒙的觀點，學習就是系統在不斷重復的工作中對本身能力的增強或者改進，使得系統在下一次執行同樣任務或類似任務時，會比現在做得更好或效率更高。
2.機器學習的定義
機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現有知識的學問。
舉例：列舉1959年美國的塞繆爾設計的一下棋程序，由這一事件引出關于機器學習的概念的相關討論。
提問：討論關于機器學習的各種概念的提出以及其區別。
7.1.2機器學習的發展史
機器學習是人工智能應用研究較為重要的分支，它的發展過程大體上可分為4個時期：
1.第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。在這個時期，所研究的是“沒有知識”的學習，即“無知”學習；其研究目標是各類自組織系統和自適應系統；指導本階段研究的理論基礎是早在40年代就開始研究的神經網絡模型。在這個時期，我國研制了數字識別學習機。
2.第二階段在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。本階段的研究目標是模擬人類的概念學習過程，并采用邏輯結構或圖結構作為機器內部描述。這個時期正是我國“史無前例”的十年，對機器學習的研究不可能取得實質進展。
3.第三階段從70年代中葉至80年代中葉，稱為復興時期。在這個時期，人們從學習單個概念擴展到學習多個概念，探索不同的學習策略和各種學習方法。本階段已開始把學習系統與各種應用結合起來，中國科學院自動化研究所進行質譜分析和模式文法推斷研究，表明我國的機器學習研究得到恢復。1980年西蒙來華傳播機器學習的火種后，我國的機器學習研究出現了新局面。
4.機器學習的最新階段始于1986年。一方面，由于神經網絡研究的重新興起，另一方面，對實驗研究和應用研究得到前所未有的重視。我國的機器學習研究開始進入穩步發展和逐漸繁榮的新時期。
討論：根據對四個時期的劃分和分段了解，討論機器學習在現實生活中的具體運用及其影響。
7.2 機器學習的主要策略與基本結構
內容與作用：本小節概括了機器學習的主要策略，同時給出了機器學習的基本結構，讓學生對機器學習的機制有了基本的認識。
教學重點：機器學習的基本結構。
教學難點：機器學習基本結構的內在聯系。
教學方法：通過概括介紹讓學生了解幾種基本的策略，按從易到難的順序，層層鋪墊，為后面的學習埋下伏筆。詳細講述機器學習的基本結構，通過圖示讓更為形象的說明。
教學要求：重點掌握機器學習的基本結構，了解機器學習的幾種主要策略，一般了解影響學習系統設計的因素。
7.2.1 機器學習的主要策略
學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習所采用的策略大體上可分為4種棗機械學習、示教學習、類比學習和示例學習。學習中所用的推理越多，系統的能力越強。
1.機械學習就是記憶，是最簡單的學習策略。這種學習策略不需要任何推理過程。
2.比機械學習更復雜一點的學習是示教學習策略。系統在接受外部知識時需要一點推理，翻譯和轉化工作。
3.類比學習系統只能得到完成類似任務的有關因此，他比上述兩種學習策略需要更多的推理。
4.采用示例學習策略的計算機系統，事先完全沒有完成任務的任何規律性的信息，因此需要推理是最多的。
討論：通過對比四種主要策略，討論其各自的優缺點以及其適用的環境。
7.2.2 機器學習系統的基本結構
1.基本結構
圖7.1表示學習系統的基本結構：
圖 7.1學習系統的基本結構
通過對這個簡單模型的討論，總結出設計學習
系統應當注意的某些總的原則：
環境向系統的學習部分提供某些信息，學習部
分利用這些信息修改知識庫，以增進系統執行部分完成任務的效能，執行部分根據知識庫完成任務，同時把獲得的信息反饋給學習部分。在具體的應用中，環境，知識庫和執行部分決定了具體的工作內容，學習部分所需要解決的問題完全由上述3部分確定。
舉例：以人為例，說明機器學習和人學習一樣，有著其自身的規律和基本過程。而且，其學習過程也有著共性。
提問：能否就機器學習的基本結構，舉出相關的例子，并參照其基本結構對其進行分析。
2.影響學習系統設計的重要因素
(1).影響學習系統設計的最重要的因素是環境向系統提供的信息。整個過程要遵循“取之精華，棄之糟粕”的原則，同時謹記“實踐是檢驗真理的唯一標準”。
(2).知識庫是影響學習系統設計的第二個因素。知識的表示有多種形式，在選擇表示方式時要兼顧以下4個方面：
表達能力強。所選擇的表示方式能很容易地表達有關的知識。
易于推理。為了使學習系統的計算代價比較低，希望知識表示方式能使推理較為容易。
容易修改知識庫。學習系統的本質要求它不斷地修改自己的知識庫，當推廣得出一般執行規則后，要加到知識庫中。
知識表示易于擴展。
學習系統不能在全然沒有任何知識的情況下憑空獲取知識，每一個學習系統都要求具有某些知識理解環境提供的信息，分析比較，做出假設，檢驗并修改這些假設。因此，更確切地說，學習系統是對現有知識的擴展和改進。
舉例：可舉特征向量的例子來說明表達能力和推理的問題。
7.3機械學習
教學內容：本小節詳細介紹了機械學習，對機械學習模式和一種數據化簡模式以及機械學習的主要缺點都有較為細致的講解。通過對這種最基本的機器學習的了解，為以后學習更為復雜的策略打下良好的基礎。
教學重點：機械學習的模式和其數據化簡模式
教學難點：基本原理
教學方法：用較為通俗的語言將機械學習的模式講通徹，同時通過圖表對其數據化簡過程進行講解。多結合日常生活中常有的學習過程，和機械學習參照，讓學生更容易接受。
教學要求：重點掌握機械學習模式，了解機械學習的數據化簡模式以及機械學習的優缺點。
1、機械學習的模式
機械學習是最簡單的機器學習方法。機械學習就是記憶，即把新的知識存儲起來，供需要時檢索調用，而不需要計算和推理。機械學習又是最基本的學習過程。任何學習系統都必須記住它們獲取的知識。在機械學習系統中，知識的獲取是以較為穩定和直接的方式進行的，不需要系統進行過多的加工。
舉例：可用嬰兒剛開始學東西時所才用的學習方式和成人的思維方式比較。
2、數據化簡
Lenat,Hayes Roth，和Klahr等人于1979年關于機械學習提出一種有趣的觀點。他們指出，可以把機械學習看成是數據化簡分級中的第一級。數據化簡與計算機語言編譯類似；其目的是把原始信息變成可執行的信息。在機械學習中我們只記憶計算的輸入輸出，忽略了計算過程，這樣就把計算問題化簡成存取問題。見圖7.2：
圖 7.2 數據化簡級別圖
3、主要問題
對于機械學習，需要注意3個重要的問題：存儲組織，穩定性和存儲與計算之間的權衡。
（1）存儲組織信息：采用適當的存儲方式，使檢索速度
盡可能地快，是機械學習中的重要問題。
（2）環境的穩定性與存儲信息的適用性問題：機械學習系統必須保證所保存的信息適應于外界環境變化的需要，這也就是所謂的信息適用性問題。
（3）存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統的效率。
討論：機械學習中存在的主要問題以及對學習模型的影響。
7.4 歸納學習
教學內容：本小節詳細介紹了歸納學習，對歸納學習的模式有較為細致的講解，對其定義有詳細的介紹，后半部分介紹了幾種常見的歸納學習的方法。
教學重點：歸納學習的定義和其學習模式
教學難點：歸納學習的基本原理
教學方法：仍然使用到圖表對歸納學習的模式進行講授，結合幾種常用的歸納學習方法，讓學生形成系統的認識。
教學要求：重點掌握歸納學習的定義及其模式，了解歸納學習的幾種常見方法。
歸納學習的定義
（1）歸納（induction）是人類拓展認識能力的重要方法，是一種從個別到一般的，從部分到整體的推理行為。
（2）歸納推理是應用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規律；它是一種從個別到一般的推理。
（3）歸納學習（induction learning）是應用歸納推理進行學習的一種方法。根據歸納學習有無教師指導，可把它分為示例學習和觀察與發現學習。前者屬于有師學習，后者屬于無師學習。
7.4.1 歸納學習的模式和規則
歸納學習的一般模式為：
給定：(1)觀察陳述（事實）F，用以表示有關某些對象、狀態、過程等的特定知識；(2)假定的初始歸納斷言（可能為空）；(3)背景知識，用于定義有關觀察陳述、候選歸納斷言以及任何相關問題領域知識、假設和約束，其中包括能夠刻畫所求歸納斷言的性質的優先準則。
求：歸納斷言（假設）H，能重言蘊涵或弱蘊涵觀察陳述，并滿足背景知識。
假設H永真蘊涵事實F，說明F是H的邏輯推理，則有：
H |> F （讀作H特殊化為F）
或F |< H （讀作F一般化或消解為H）
這里，從H推導F是演繹推理，因此是保真的；而從事實F推導出假設H是歸納推理，因此不是保真的，而是保假的。
歸納學習系統的模型如圖7.3所示。
圖7.3歸納學習系統模型
實驗規劃過程通過對實例空間的搜索完成實例選擇，并將這些選中的活躍實例提交解釋過程。解釋過程對實例加以適當轉換，把活躍實例變換為規則空間中的特定概念，以引導規則空間的搜索。
思考：引導學生通過對歸納學習模型的學習，結合身邊的實例加以分析。
7.4.2 歸納學習方法
1、示例學習
示例學習（learning from examples）又稱為實例學習，它是通過環境中若干與某概念有關的例子，經歸納得出一般性概念的一種學習方法。
在這種學習方法中，外部環境提供的是一組例子（正例和反例），
示例學習就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以覆蓋所有的正例并排除所有反例。
2、觀察發現學習
觀察發現學習又稱為描述性概括，其目標是確定一個定律或理論的一般性描述，刻畫觀察集，指定某類對象的性質。觀察發現學習可分為觀察學習與機器發現兩種。前者用于對事例進行聚類，形成概念描述；后者用于發現規律，產生定律或規則。
舉例：通過書上的例子引出示例學習的概念，并加以說明。
7.5 類比學習
教學內容：本小節詳細介紹了類比學習，首先介紹類比推理，然后討論類比學習的形式和學習步驟，最后研究類比學習的過程和研究類型。
教學重點：類比推理，類比學習的學習過程
教學難點：類比推理的步驟
教學方法：本節的知識較為枯燥，講述的時候要盡量多結合相關的示例讓學生能有具體的感受，更有力于接受知識。
教學要求：重點掌握類比推理的定義，了解類比學習的過程。
7.5.1 類比推理和類比學習形式
類比推理是由新情況與已知情況在某些方面的相似來推出它們在其它相關方面的相似。顯然，類比推理是在兩個相似域之間進行的：類比推理的目的是從源域中選出與當前問題最近似的問題及其求解方法以求解決當前的問題，或者建立起目標域中已有命題間的聯系，形成新知識。
其推理過程如下：
(1) 回憶與聯想
遇到新情況或新問題時，首先通過回憶與聯想在S中找出與當前情況相似的情況，這些情況是過去已經處理過的，有現成的解決方法及相關的知識。
(2) 選擇
從找出的相似情況中選出與當前情況最相似的情況及其有關知識。
(3) 建立對應映射
在S與T的相似情況之間建立相似元素的對應關系，并建立起相應的映射。
(4) 轉換
在上一步建立的映射下，把S中的有關知識引到T中來，從而建立起求解當前問題的方法或者學習到關于T的新知識。
舉例：舉出現實中的具體實例，按推理過程對其步驟進行一步步的細分。
7.5.2類比學習過程與研究類型
類比學習主要包括如下四個過程：
(1) 輸入一組已知條件（已解決問題）和一組未完全確定的條件（新問題）。
(2) 對輸入的兩組條件，根據其描述，按某種相似性的定義尋找兩者可類比的對應關系。
(3) 按相似變換的方法，將已有問題的概念、特性、方法、關系等映射到新問題上，以獲得待求解新問題所需的新知識。
(4) 對類推得到的新問題的知識進行校驗。驗證正確的知識存入知識庫中，而暫時還無法驗證的知識只能作為參考性知識，置于數據庫中。
?
7.6 解釋學習
教學內容：本小節對兩種基本的學習進行了介紹，對相關知識能有所了解，對以后的學習有很大的幫助。
教學重點：解釋學習的過程和算法，神經學習的相關知識
教學難點：解釋學習的過程和算法
教學方法：由于本節知識只做一般了解，所以只需對相關概念做個簡介即可。
教學要求：了解解釋學習的過程及神經學習的概念。
7.6.1 解釋學習過程和算法
解釋學習一般包括下列3個步驟：
(1) 利用基于解釋的方法對訓練例子進行分析與解釋。
(2) 對例子的結構進行概括性解釋。
(3) 從解釋結構中識別出訓練例子的特性，獲取一般控制知識。
1986年米切爾（Mitchell）等人為基于解釋的學習提出了一個統一的算法EBG，該算法建立了基于解釋的概括過程，并運用知識的邏輯表示和演繹推理進行問題求解。圖7.4表示EBG問題。
圖7.4 EBG問題
EBG求解問題的形式可描述于下:
給定：
(1) 目標概念描述TC；
(2) 訓練實例TE；
(3) 領域知識DT；
(4) 操作準則OC。
求解：訓練實例的一般化概括，使之滿足：
(1) 目標概念的充分概括描述TC；
(2) 操作準則OC。
思考：引導學生自學本小節的某些知識，結合書上的示例對數學推理有一定了解。
7.6.2 解釋學習舉例
例子：通過解釋學習獲得一個物體(x)可安全放置到另一個物體(y)上的概念。
?
7.7 神經學習
教學內容：討論基于神經網絡學習的基本原理。
教學重點：基于反向傳播網絡的學習，基于Hopfield網絡的學習。
教學難點：上述兩種神經學習的算法。
教學方法：課堂講授為主。
教學要求：掌握上述神經學習的結構，了解神經學習的算法。
7.7.1 基于反向傳播網絡的學習
反向傳播算法是一種計算單個權值變化引起網絡性能變化值的較為簡單的方法。由于BP算法過程包含從輸出節點開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權值修正，所以稱為“反向傳播”。反向傳播特性與所求解問題的性質和所作細節選擇有極為密切的關系。
7.7.2 基于Hopfield網絡的學習
反饋神經網絡，它是一種動態反饋系統，比前饋網絡具有更強的計算能力。
Hopfield網絡是一種具有正反相輸出的帶反饋人工神經元。Hopfield網絡系統不僅能夠實現聯想記憶，而且能夠執行線性和非線性規劃等優化求解任務。
?
7.8 知識發現
教學內容：知識發現的發展過程和定義，知識發現的處理過程，知識發現的方法和應用。
教學重點：知識發現的處理過程，知識發現的方法。
教學難點：知識發現的方法
教學方法：通過實例激發學生對知識發現的學習興趣，進而重點講解知識發現的過程和方法。
教學要求：重點掌握知識發現的過程，了解知識發現的方法，了解知識發現的應用。
7.8.1知識發現的發展和定義1.知識發現的產生和發展
知識發現最早是于1989年8月在第11屆國際人工智能聯合會議的專題討論會上提出。隨著互聯網的發展，網上已設立了不少研究KDD的網站、論壇和新聞報導。在研究的基礎上，也出現一些KDD產品和應用系統，引起企業界的關注。
2.定義：數據庫中的知識發現是從大量數據中辨識出有效的、新穎的、潛在有用的、并可被理解的模式的高級處理過程。
（1）數據集：是指一個有關事實F的集合，它是用來描述事物有關方面的信息，是進一步發現知識的原材料。
（2）新穎：經過知識發現提取出的模式必須是新穎的。
（3）潛在有用：提取出的模式應該是有意義的，這可以通過某些函數的值來衡量。
（4）可被人理解：知識發現的一個目標就是將數據庫中隱含的模式以容易被人理解的形式表現出來，從而幫助人們更好地了解數據庫中所包含的信息。
7.8.2知識發現的處理過程
1、數據選擇。根據用戶的需求從數據庫中提取與KDD相關的數據。
2、數據預處理。主要是對上述數據進行再加工，檢查數據的完整性及數據的一致性，對丟失的數據利 用統計方法進行填補，形成發掘數據庫。
3、數據變換。即從發掘數據庫里選擇數據。
4.數據挖掘。根據用戶要求，確定KDD的
目標是發現何種類型的知識。
5、知識評價。這一過程主要用于對所獲得的
規則進行價值評定，以決定所得的規則是否存入基礎知識庫。
上述KDD全過程的幾個步驟可以進一步歸納為三個步驟，即數據挖掘預處理（數據挖掘前的準備工作）、數據挖掘、數據挖掘后處理（數據挖掘后的處理工作）。
簡單介紹幾種新的對數據發掘的改進過程。
舉例：參照上述的處理過程，舉出具體實例，詳細講述每步的過程。
7.8.3 知識發現的方法
知識發現的方法有統計方法、機器學習、神經計算和可視化方法等。
1、統計方法
統計方法是從事物的外在數量上的表現去推斷該事物可能的規律性。
2、機器學習方法
可能用于機器發現的機器學習方法有：
(1) 規則歸納。規則反映數據項中某些屬性或數據集中某些數據項之間的統計相關性。
(2) 決策樹。決策樹的每一個非終葉節點表示所考慮的數據項的測試或決策。
(3) 范例推理。范例推理是直接使用過去的經驗或解法來求解給定的問題。
(4) 貝葉斯信念網絡。貝葉斯信念網絡是概率分布的圖表示。
(5) 科學發現。科學發現是在實驗環境下發現科學定律。
(6) 遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的集合愈來愈好。
3、神經計算方法
4、可視化方法
可視化（visualization）就是把數據、信息和知識轉化為可視的表示形式的過程。
舉例：舉出幾個具體的實例讓學生對機器學習的幾種方法有基本了解。
7.8.4 知識發現的應用
知識發現已在許多領域得到應用，且應用領域越來越廣。現在，知識發現已在銀行業、保險業、零售業、醫療保健、工程和制造業、科學研究、衛星觀察和娛樂業等行業和部門得到成功應用，為人們的科學決策提供很大幫助。
思考：舉出有關的幾種應用，再想想再現實生活中是否有其它的應用。
7.9 小結
本章只對機器學習作個入門介紹。
機器學習在過去十多年中獲得較大發展。今后機器學習將在理論概念、計算機理、綜合技術和推廣應用等方面開展新的研究。其中，對結構模型、計算理論、算法和混合學習的開發尤為重要。在這些方面，有許多事要做，有許多新問題需要人們去解決。
from: http://netclass.csu.edu.cn/jpkc2003/rengongzhineng/rengongzhineng/jiaoan/chapter7.htm
總結
以上是生活随笔為你收集整理的人工智能：第七章 机器学习的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 人工智能：第六章 专家系统
- 下一篇： 人工智能：第九章 Agent (艾真体)