微软面向初学者的机器学习课程：1.2-机器学习的历史
寫在前面：最近在參與microsoft/ML-For-Beginners的翻譯活動，歡迎有興趣的朋友加入（https://github.com/microsoft/ML-For-Beginners/issues/71）
機器學習的歷史
作者Tomomi Imura[1]
課前測驗[2]
在本課中，我們將走過機器學習和人工智能歷史上的主要里程碑。
人工智能（AI）作為一個領(lǐng)域的歷史與機器學習的歷史交織在一起，因為支持機器學習的算法和計算能力的進步推動了AI的發(fā)展。記住，雖然這些領(lǐng)域作為不同研究領(lǐng)域在20世紀50年代才開始具體化，但重要的算法、統(tǒng)計、數(shù)學、計算和技術(shù)發(fā)現(xiàn)[3] 要早于和重疊了這個時代。事實上，數(shù)百年來[4]人們一直在思考這些問題：本文討論了“思維機器”這一概念的歷史知識基礎(chǔ)。
主要發(fā)現(xiàn)
1763, 1812 貝葉斯定理[5] 及其前身。該定理及其應用是推理的基礎(chǔ)，描述了基于先驗知識的事件發(fā)生的概率。
1805 最小二乘理論[6]由法國數(shù)學家Adrien-Marie Legendre提出。您將在我們的回歸單元中了解這一理論，它有助于數(shù)據(jù)擬合。
1913 馬爾可夫鏈[7]以俄羅斯數(shù)學家安德烈馬爾可夫的名字命名，用于描述基于先前狀態(tài)的一系列可能事件。
1957 感知器[8]是美國心理學家弗蘭克·羅森布拉特發(fā)明的一種線性分類器，是深度學習發(fā)展的基礎(chǔ)。
1967 最近鄰[9]是一種最初設(shè)計用于映射路線的算法。在ML中，它用于檢測模式。
1970 反向傳播[10]用于訓練前饋神經(jīng)網(wǎng)絡(luò)[11]。
1982 循環(huán)神經(jīng)網(wǎng)絡(luò)[12] 是源自產(chǎn)生時間圖的前饋神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)網(wǎng)絡(luò)。
? 做點調(diào)查。在ML和AI的歷史上，還有哪些日期是重要的？
1950: 會思考的機器
艾倫·圖靈，一個真正杰出的人，在2019年被公眾投票選出[13] 作為20世紀最偉大的科學家，他認為有助于為“會思考的機器”的概念打下基礎(chǔ)。他通過創(chuàng)建 圖靈測試[14]來解決反對者和他自己對這一概念的經(jīng)驗證據(jù)的需求，您將在我們的 NLP 課程中進行探索。
1956: 達特茅斯夏季研究項目
“達特茅斯夏季人工智能研究項目是人工智能領(lǐng)域的一個開創(chuàng)性事件，”正是在這里，人們創(chuàng)造了“人工智能”一詞（來源[15])。
原則上，學習的每個方面或智能的任何其他特征都可以被精確地描述，以至于可以用機器來模擬它。
首席研究員、數(shù)學教授John McCarthy希望“基于這樣一種猜想，即學習的每個方面或智能的任何其他特征原則上都可以如此精確地描述，以至于可以制造出一臺機器來模擬它?！?參與者包括該領(lǐng)域的另一位杰出人物Marvin Minsky。
研討會被認為發(fā)起并鼓勵了一些討論，包括“符號方法的興起、專注于有限領(lǐng)域的系統(tǒng)（早期專家系統(tǒng)），以及演繹系統(tǒng)與歸納系統(tǒng)的對比?！?來源[16])。
1956 - 1974: “黃金歲月”
從20世紀50年代到70年代中期，樂觀情緒高漲，希望人工智能能夠解決許多問題。1967年，Marvin Minsky自信地說，“一代人之內(nèi)。。。創(chuàng)造‘人工智能’的問題將得到實質(zhì)性的解決?！?#xff08;Minsky，Marvin（1967），《計算：有限和無限機器》，新澤西州恩格伍德克利夫斯：Prentice Hall）
自然語言處理研究蓬勃發(fā)展，搜索被提煉并變得更加強大，創(chuàng)造了“微觀世界”的概念，在這個概念中，簡單的任務(wù)是用簡單的語言指令完成的。
這項研究得到了政府機構(gòu)的充分資助，在計算和算法方面取得了進展，并建造了智能機器的原型。其中一些機器包括：
機器人Shakey[17]，他們可以“聰明地”操縱和決定如何執(zhí)行任務(wù)。
1972 年的Shakey
Eliza，一個早期的“聊天機器人”，可以與人交談并充當原始的“治療師”。您將在NLP課程中了解有關(guān)Eliza的更多信息。
Eliza的一個版本，一個聊天機器人
“積木世界”是一個微觀世界的例子，在那里積木可以堆疊和分類，并且可以測試教機器做出決策的實驗。使用SHRDLU[18]等庫構(gòu)建的高級功能有助于推動語言處理向前發(fā)展。
[19]
???? 點擊上圖觀看視頻：積木世界與SHRDLU
1974 - 1980: AI的寒冬
到了20世紀70年代中期，很明顯制造“智能機器”的復雜性被低估了，而且考慮到可用的計算能力，它的前景被夸大了。資金枯竭，市場信心放緩。影響信心的一些問題包括：
限制。計算能力太有限了
組合爆炸。隨著對計算機的要求越來越高，需要訓練的參數(shù)數(shù)量呈指數(shù)級增長，而計算能力卻沒有平行發(fā)展。
缺乏數(shù)據(jù)。缺乏數(shù)據(jù)阻礙了測試、開發(fā)和改進算法的過程。
我們是否在問正確的問題？。被問到的問題也開始受到質(zhì)疑。研究人員開始對他們的方法提出批評：
圖靈測試受到質(zhì)疑的方法之一是“中國房間理論”，該理論認為，“對數(shù)字計算機進行編程可能使其看起來能理解語言，但不能產(chǎn)生真正的理解?！?(來源[20])
將“治療師”ELIZA這樣的人工智能引入社會的倫理受到了挑戰(zhàn)。
與此同時，各種人工智能學派開始形成。在“scruffy”與“neat AI”[21]之間建立了二分法。Scruffy 實驗室對程序進行了數(shù)小時的調(diào)整，直到獲得所需的結(jié)果。Neat 實驗室“專注于邏輯和形式問題的解決”。ELIZA 和 SHRDLU 是眾所周知的 scruffy 系統(tǒng)。在 1980 年代，隨著使 ML 系統(tǒng)可重現(xiàn)的需求出現(xiàn)，neat 方法逐漸走上前沿，因為其結(jié)果更易于解釋。
1980s 專家系統(tǒng)
隨著這個領(lǐng)域的發(fā)展，它對商業(yè)的好處變得越來越明顯，在20世紀80年代，‘專家系統(tǒng)’的泛濫也是如此。“專家系統(tǒng)是首批真正成功的人工智能 (AI) 軟件形式之一?！?(來源[22])。
這種類型的系統(tǒng)實際上是混合系統(tǒng)，部分由定義業(yè)務(wù)需求的規(guī)則引擎和利用規(guī)則系統(tǒng)推斷新事實的推理引擎組成。
在這個時代，神經(jīng)網(wǎng)絡(luò)也越來越受到重視。
1987 - 1993: AI的冷靜期
專業(yè)的專家系統(tǒng)硬件的激增造成了過于專業(yè)化的不幸后果。個人電腦的興起也與這些大型、專業(yè)化、集中化系統(tǒng)展開了競爭。計算機的平民化已經(jīng)開始，它最終為大數(shù)據(jù)的現(xiàn)代爆炸鋪平了道路。
1993 - 2011
這個時代見證了一個新的時代，ML和AI能夠解決早期由于缺乏數(shù)據(jù)和計算能力而導致的一些問題。數(shù)據(jù)量開始迅速增加，變得越來越廣泛，無論好壞，尤其是2007年左右智能手機的出現(xiàn)，計算能力呈指數(shù)級增長，算法也隨之發(fā)展。這個領(lǐng)域開始變得成熟，因為過去那些隨心所欲的日子開始具體化為一種真正的紀律。
現(xiàn)在
今天，機器學習和人工智能幾乎觸及我們生活的每一個部分。這個時代要求仔細了解這些算法對人類生活的風險和潛在影響。正如微軟的Brad Smith所言，“信息技術(shù)引發(fā)的問題觸及隱私和言論自由等基本人權(quán)保護的核心。這些問題加重了制造這些產(chǎn)品的科技公司的責任。在我們看來，它們還呼吁政府進行深思熟慮的監(jiān)管，并圍繞可接受的用途制定規(guī)范”(來源[23])。
未來的情況還有待觀察，但了解這些計算機系統(tǒng)以及它們運行的軟件和算法是很重要的。我們希望這門課程能幫助你更好的理解，以便你自己決定。
[24]
???? 點擊上圖觀看視頻：Yann LeCun 在本次講座中討論深度學習的歷史
????挑戰(zhàn)
深入了解這些歷史時刻之一，并更多地了解它們背后的人。這里有許多引人入勝的人物，沒有一項科學發(fā)現(xiàn)是在文化真空中創(chuàng)造出來的。你發(fā)現(xiàn)了什么？
課后測驗[25]
復習與自學
以下是要觀看和收聽的節(jié)目：
這是Amy Boyd討論人工智能進化的播客[26]
[27]
任務(wù)
創(chuàng)建時間線[28]
歡迎關(guān)注我的個人公眾號”My IO“
參考
[1]
Tomomi Imura: https://www.twitter.com/girlie_mac
[2]課前測驗: https://jolly-sea-0a877260f.azurestaticapps.net/quiz/3/
[3]算法、統(tǒng)計、數(shù)學、計算和技術(shù)發(fā)現(xiàn): https://wikipedia.org/wiki/Timeline_of_machine_learning
[4]數(shù)百年來: https://wikipedia.org/wiki/History_of_artificial_intelligence
[5]貝葉斯定理: https://wikipedia.org/wiki/Bayes%27_theorem
[6]最小二乘理論: https://wikipedia.org/wiki/Least_squares
[7]馬爾可夫鏈: https://wikipedia.org/wiki/Markov_chain
[8]感知器: https://wikipedia.org/wiki/Perceptron
[9]最近鄰: https://wikipedia.org/wiki/Nearest_neighbor
[10]反向傳播: https://wikipedia.org/wiki/Backpropagation
[11]前饋神經(jīng)網(wǎng)絡(luò): https://wikipedia.org/wiki/Feedforward_neural_network
[12]循環(huán)神經(jīng)網(wǎng)絡(luò): https://wikipedia.org/wiki/Recurrent_neural_network
[13]在2019年被公眾投票選出: https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century
[14]圖靈測試: https://www.bbc.com/news/technology-18475646
[15]來源: https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth
[16]來源: https://wikipedia.org/wiki/Dartmouth_workshop
[17]機器人Shakey: https://wikipedia.org/wiki/Shakey_the_robot
[18]SHRDLU: https://wikipedia.org/wiki/SHRDLU
[19]積木世界與SHRDLU: https://www.youtube.com/watch?v=QAJz4YKUwqw
[20]來源: https://plato.stanford.edu/entries/chinese-room/
[21]“scruffy”與“neat AI”: https://wikipedia.org/wiki/Neats_and_scruffies
[22]來源: https://wikipedia.org/wiki/Expert_system
[23]來源: https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/
[24]深度學習的歷史 : https://www.youtube.com/watch?v=mTtDfKgLm54
[25]課后測驗: https://jolly-sea-0a877260f.azurestaticapps.net/quiz/4/
[26]這是Amy Boyd討論人工智能進化的播客: http://runasradio.com/Shows/Show/739
[27]Amy Boyd的《人工智能史》: https://www.youtube.com/watch?v=EJt3_bFYKss
[28]創(chuàng)建時間線: assignment.md
總結(jié)
以上是生活随笔為你收集整理的微软面向初学者的机器学习课程：1.2-机器学习的历史的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 微软面向初学者的机器学习课程：1.1-机
- 下一篇： 微软面向初学者的机器学习课程：1.3-机