什么是人工神經網絡

人工神經網絡（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智能領域興起的研究熱點。

它從信息處理角度對人腦神經元網絡進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。

神經網絡是一種運算模型，由大量的節(jié)點（或稱神經元）之間相互聯接構成。每個節(jié)點代表一種特定的輸出函數，稱為激勵函數（activation function）。

每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。

而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

最近十多年來，人工神經網絡的研究工作不斷深入，已經取得了很大的進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫(yī)學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。

谷歌人工智能寫作項目：神經網絡偽原創(chuàng)

什么是人工神經網絡？

什么是神經網絡

神經網絡可以指向兩種，一個是生物神經網絡，一個是人工神經網絡。生物神經網絡：一般指生物的大腦神經元，細胞，觸點等組成的網絡，用于產生生物的意識，幫助生物進行思考和行動。

人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。

這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡：是一種應用類似于大腦神經突觸聯接的結構進行信息處理的數學模型。

在工程與學術界也常直接簡稱為“神經網絡”或類神經網絡。

神經網絡是什么？

神經網絡可以指向兩種，一個是生物神經網絡，一個是人工神經網絡。生物神經網絡：一般指生物的大腦神經元，細胞，觸點等組成的網絡，用于產生生物的意識，幫助生物進行思考和行動。

人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。

這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡：是一種應用類似于大腦神經突觸聯接的結構進行信息處理的數學模型。

在工程與學術界也常直接簡稱為“神經網絡”或類神經網絡。

新型神經網絡芯片會對科技領域乃至整個世界產生什么巨大影響

一、與傳統(tǒng)計算機的區(qū)別1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理，把程序本身當作數據來對待。

此后的半個多世紀以來，計算機的發(fā)展取得了巨大的進步，但“馮·諾依曼架構”中信息存儲器和處理器的設計一直沿用至今，連接存儲器和處理器的信息傳遞通道仍然通過總線來實現。

隨著處理的數據量海量地增長，總線有限的數據傳輸速率被稱為“馮·諾依曼瓶頸”——尤其是移動互聯網、社交網絡、物聯網、云計算、高通量測序等的興起，使得‘馮·諾依曼瓶頸’日益突出，而計算機的自我糾錯能力缺失的局限性也已成為發(fā)展障礙。

結構上的缺陷也導致功能上的局限。例如，從效率上看，計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少，但顯然而功耗低得多。

為此，學習更多層的神經網絡，讓計算機能夠更好地模擬人腦功能，成為上世紀后期以來研究的熱點。

在這些研究中，核心的研究是“馮·諾依曼架構”與“人腦架構”的本質結構區(qū)別——與計算機相比，人腦的信息存儲和處理，通過突觸這一基本單元來實現，因而沒有明顯的界限。

正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經過一定的時間作用后引起的神經變化（可變性、可修飾性等），使得人腦的記憶和學習功能得以實現。

大腦有而計算機沒有的三個特性:低功耗（人腦的能耗僅約20瓦，而目前用來嘗試模擬人腦的超級計算機需要消耗數兆瓦的能量）；容錯性（壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經元每時每刻都在死亡）；還有不需為其編制程序（大腦在與外界互動的同時也會進行學習和改變，而不是遵循預設算法的固定路徑和分支運行。

）這段描述可以說是“電”腦的最終理想了吧。注：最早的電腦也是模擬電路實現的，之后發(fā)展成現在的只有0、1的數字CPU。

今天的計算機用的都是所謂的馮諾依曼結構，在一個中央處理器和記憶芯片之間以線性計算序列來回傳輸數據。這種方式在處理數字和執(zhí)行精確撰寫的程序時非常好用，但在處理圖片或聲音并理解它們的意義時效果不佳。

有件事很說明問題：2012年，谷歌展示了它的人工智能軟件在未被告知貓是什么東西的情況下，可以學會識別視頻中的貓，而完成這個任務用到了1.6萬臺處理器。

要繼續(xù)改善這類處理器的性能，生產商得在其中配備更多更快的晶體管、硅存儲緩存和數據通路，但所有這些組件產生的熱量限制了芯片的運作速度，尤其在電力有限的移動設備中。

這可能會阻礙人們開發(fā)出有效處理圖片、聲音和其他感官信息的設備，以及將其應用于面部識別、機器人，或者交通設備航運等任務中。

神經形態(tài)芯片嘗試在硅片中模仿人腦以大規(guī)模的平行方式處理信息：幾十億神經元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內容的反應，這些神經元也會改變它們相互間連接的方式，我們把這個過程叫做學習。神經形態(tài)芯片納入了受人腦啟發(fā)的“神經網路”模式，因此能做同樣的事。

人工智能的頂尖思想家杰夫·霍金斯（Jeff Hawkins）說，在傳統(tǒng)處理器上用專門的軟件嘗試模擬人腦（谷歌在貓實驗中所做的），以此作為不斷提升的智能基礎，這太過低效了。

霍金斯創(chuàng)造了掌上電腦（Palm Pilot），后來又聯合創(chuàng)辦了Numenta公司，后者制造從人腦中獲得啟發(fā)的軟件。“你不可能只在軟件中建造它，”他說到人工智能，“你必須在硅片中建造它。

”現有的計算機計算，程序的執(zhí)行是一行一行執(zhí)行的，而神經網絡計算機則有所不同。現行的人工智能程式，基本上都是將大大小小的各種知識寫成一句一句的陳述句，再灌進系統(tǒng)之中。

當輸入問題進去智能程式時，它就會搜尋本身的資料庫，再選擇出最佳或最近解。2011年時，IBM 有名的 Watson 智能電腦，便是使用這樣的技術，在美國的電視益智節(jié)目中打敗的人類的最強衛(wèi)冕者。

（神經網絡計算機）以這種異步信號發(fā)送（因沒有能使其同步的中央時鐘而得名）處理數據的速度比同步信號發(fā)送更快，以為沒有時間浪費在等待時鐘發(fā)出信號上。

異步信號發(fā)送消耗的能量也更少，這樣便滿足了邁耶博士理想的計算機的第一個特點。如果有一個處理器壞了，系統(tǒng)會從另一路線繞過它，這樣便滿足了邁耶博士理想的計算機的第二個特點。

正是由于為異步信號發(fā)送編程并不容易，所以大多數計算機工程師都無視于此。然而其作為一種模仿大腦的方式堪稱完美。

功耗方面：硬件方面，近年來主要是通過對大型神經網絡進行仿真，如 Google 的深度學習系統(tǒng)Google Brain，微軟的Adam等。但是這些網絡需要大量傳統(tǒng)計算機的集群。

比方說 Google Brain 就采用了 1000 臺各帶 16 核處理器的計算機，這種架構盡管展現出了相當的能力，但是能耗依然巨大。而 IBM 則是在芯片上的模仿。

4096 個內核，100 萬個“神經元”、2.56 億個“突觸”集成在直徑只有幾厘米的方寸（是 2011 年原型大小的 1/16）之間，而且能耗只有不到 70 毫瓦。

IBM 研究小組曾經利用做過 DARPA 的NeoVision2 Tower數據集做過演示。

它能夠實時識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，準確率達到了 80%。

相比之下，一臺筆記本編程完成同樣的任務用時要慢 100 倍，能耗卻是 IBM 芯片的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642因為需要擁有極多數據的Database 來做training以及需要極強大的計算能力來做prediction，現有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網絡到云端的服務器。

二、爭議：雖然深度學習已經被應用到尖端科學研究及日常生活當中，而 Google 已經實際搭載在核心的搜尋功能之中。但其他知名的人工智能實驗室，對於深度學習技術的反應并不一致。

例如艾倫人工智慧中心的執(zhí)行長 Oren Etzioni，就沒有考慮將深度學習納入當前開發(fā)中的人工智慧系統(tǒng)中。

該機構目前的研究是以小學程度的科學知識為目標，希望能開發(fā)出光是看學校的教科書，就能夠輕松應付各類考試的智能程式。

Oren Etzioni 以飛機為例，他表示，最成功的飛機設計都不是來自於模仿鳥的結構，所以腦神經的類比并無法保證人工智能的實現，因此他們暫不考慮借用深度學習技術來開發(fā)這個系統(tǒng)。

但是從短期來看，情況也許并沒有那么樂觀。首先芯片的編程仍然是個大問題。芯片的編程要考慮選擇哪一個神經元來連接，以及神經元之間相互影響的程度。

比方說，為了識別上述視頻中的汽車，編程人員首先要對芯片的仿真版進行必要的設置，然后再傳給實際的芯片。

這種芯片需要顛覆以往傳統(tǒng)的編程思想，盡管 IBM 去年已經發(fā)布了一套工具，但是目前編程仍非常困難，IBM 團隊正在編制令該過程簡單一點的開發(fā)庫。

（當然，如果我們回顧過去編程語言從匯編一路走來的歷史，這一點也許不會成為問題。）其次，在部分專業(yè)人士看來，這種芯片的能力仍有待證實。

再者，真正的認知計算應該能從經驗中學習，尋找關聯，提出假設，記憶，并基于結果學習，而IBM 的演示里所有學習（training）都是在線下的馮諾依曼計算機上進行的。

不過目前大多數的機器學習都是離線進行的，因為學習經常需要對算法進行調整，而 IBM 的硬件并不具備調整的靈活性，不擅長做這件事情。

三、人造神經元工作原理及電路實現人工神經網絡人工神經網絡（artificial neural network，縮寫ANN），簡稱神經網絡（neural network，縮寫NN），是一種模仿生物神經網絡的結構和功能的數學模型或計算模型。

神經網絡是一種運算模型，由大量的節(jié)點（或稱“神經元”，或“單元”）和之間相互聯接構成。每個節(jié)點代表一種特定的輸出函數，稱為激勵函數（activation function）。

每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重（weight），這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。

而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。Ref：Wikipedia： 人工神經網絡電路原理神經遞質的分泌反過來又是對動作電位刺激的反應。

然而神經元在接收到這些神經遞質信號中的一個后便不會再繼續(xù)發(fā)出動作電位。當然，它們會逐漸累加至一個極限值。

在神經元接受了一定數量的信號并超過極限值后----從根本上講是一個模擬進程----然后它們會發(fā)出一個動作電位，并自行重置。

Spikey的人造神經元也是這么做的，當它們每次受到激發(fā)時都會在電容中累積電荷，直至達到限值，電容再進行放電。具體電路結構和分析之后有機會的話再更新。

現階段硬件的實現方式有數電（IBM、Qualcomm）、模電、數模混合（學界）、GPUs等等，還有各種不是基于硅半導體制程制作的神經元等的device方面的研究。

四、歷史Neuromorphic engineering由老祖宗Carver Mead提出卡福·米德是加州理工學院的一名工程師，被公認為神經形態(tài)計算機之父（當然還發(fā)明了“神經形態(tài)學”這個詞）神經形態(tài)芯片的創(chuàng)意可以追溯到幾十年前。

加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德（Carver Mead）在1990年發(fā)表的一篇論文中首次提出了這個名稱。這篇論文介紹了模擬芯片如何能夠模仿腦部神經元和突觸的電活動。

所謂模擬芯片，其輸出是變化的，就像真實世界中發(fā)生的現象，這和數字芯片二進制、非開即關的性質不同。后來這（大腦研究）成為我畢生的工作，我覺得我可以有所貢獻，我嘗試離開計算機行業(yè)而專注大腦研究。

首先我去了MIT的人工智能研究院，我想，我也想設計和制作聰明的機器，但我的想法是先研究大腦怎么運作。而他們說，呃，你不需要這樣做，我們只需要計算機編程。而我說，不，你應該先研究大腦。

他們說，呃，你錯了。而我說，不，你們錯了。最后我沒被錄取。但我真的有點失望，那時候年輕，但我再嘗試。幾年后再加州的Berkley，這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。

我在學習大腦了，而我想學理論。而他們說，不，你不可以學大腦的理論，這是不可以的，你不會拿到研究經費，而作為研究生，沒有經費是不可以的。我的天。

八卦：老師說neural network這個方向每20年火一次，之前有很長一段時間的沉寂期，甚至因為理論的不完善一度被認為是江湖術士的小把戲，申請研究經費都需要改課題名稱才能成功。

（這段為小弟的道聽途說，請大家看過就忘。后來看相關的資料發(fā)現，這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這一革命性工作改變了之前的狀況有關。

）五、針對IBM這次的工作：關于 SyNAPSE美國國防部先進研究項目局的研究項目，由兩個大的group組成：IBM team和HRL Team。

Synapse在英文中是突觸的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。

Cognitive computing: Neurosynaptic chipsIBM produces first working chips modeled on the human brain另一個SyNAPSE項目是由IBM阿爾馬登實驗室（位于圣何塞）的達爾門德拉·穆德哈負責。

與四所美國大學（哥倫比亞大學，康奈爾大學，加州大學默塞德分校以及威斯康辛-麥迪遜大學）合作，穆德哈博士及其團隊制造了一臺神經形態(tài)學計算機的原型機，擁有256個“積分觸發(fā)式”神經元，之所以這么叫是因為這些神經元將自己的輸入累加（即積分）直至達到閾值，然后發(fā)出一個信號后再自行重置。

它們在這一點上與Spikey中的神經元類似，但是電子方面的細節(jié)卻有所不同，因為它們是由一個數字儲存器而非許多電容來記錄輸入信號的。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642。

人工神經網絡有什么應用條件

人工神經網絡（Artificial Neural Network，簡稱ANN ），以數學模型模擬神經元活動，是基于模仿大腦神經網絡結構和功能而建立的一種信息處理系統(tǒng)。

人工神經網絡具有自學習、自組織、自適應以及很強的非線性函數逼近能力，擁有強大的容錯性。它可以實現仿真、預測以及模糊控制等功能。是處理非線性系統(tǒng)的有力工具。

它是物流合作伙伴選擇方法中合作伙伴選擇的神經網絡算法的另一種名稱。

它是20世界80年代后迅速發(fā)展的一門新興學科，ANN可以模擬人腦的某些智能行為，如知覺，靈感和形象思維等，具有自學性，自適應和非線性動態(tài)處理等特征。

將ANN應用于供應鏈管理（SCM）環(huán)境下合作合辦的綜合評價選擇，意在建立更加接近于人類思維模式的定性與定量相結合的綜合評價選擇模型。

通過對給定樣本模式的學習，獲取評價專家的知識，經驗，主管判斷及對目標重要性的傾向，當對合作伙伴作出綜合評價時，該方法可再現評價專家的經驗，知識和直覺思維，從而實現了定性分析與定量分析的有效結合，也可以較好的保證合作伙伴綜合評價結果的客觀性。

在選定評價指標組合的基礎上，對評價指標作出評價，得到評價值后，因各指標間沒有統(tǒng)一的度量標準，難以進行直接的分析和比較，也不利于輸入神經網絡計算。

因此，在用神經網絡進行綜合評價之前，應首先將輸入的評價值通過隸屬函數的作用轉換為（0，1]之間的值，即對評價值進行標準無綱量化，并作為神經網絡的輸入，以使ANN可以處理定量和定性指標。

神經網絡算法的人工神經網絡

人工神經網絡（Artificial Neural Networks，ANN）系統(tǒng)是 20 世紀 40 年代后出現的。

它是由眾多的神經元可調的連接權值連接而成，具有大規(guī)模并行處理、分布式信 息存儲、良好的自組織自學習能力等特點。

BP（Back Propagation）算法又稱為誤差 反向傳播算法，是人工神經網絡中的一種監(jiān)督式的學習算法。

BP 神經網絡算法在理 論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。

而且網絡的中間層數、各層的處理單元數及網絡的學習系數等參數可根據具體情況設定，靈活性很大，在優(yōu)化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

人工神經元的研究起源于腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創(chuàng)建了神經元學說。人們認識到復雜的神經系統(tǒng)是由數目繁多的神經元組合而成。

大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網絡，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統(tǒng)內，經過對信息的分析和綜合，再通過運動神經發(fā)出控制信息，以此來實現機體與內外環(huán)境的聯系，協(xié)調全身的各種機能活動。

神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態(tài)比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。

樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。樹突是細胞體的延伸部分，它由細胞體發(fā)出后逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂“突觸”。

在突觸處兩神經元并未連通，它只是發(fā)生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應于神經元之間耦合的極性。

每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網絡可顯示出人的大腦的某些特征。

人工神經網絡是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態(tài)系統(tǒng)。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統(tǒng)行為卻非常復雜。

人工神經網絡反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。

與數字計算機比較，人工神經網絡在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運算，而是能夠自身適應環(huán)境、總結規(guī)律、完成某種運算、識別或過程控制。

人工神經網絡首先要以一定的學習準則進行學習，然后才能工作。現以人工神經網絡對于寫“A”、“B”兩個字母的識別為例進行說明，規(guī)定當“A”輸入網絡時，應該輸出“1”，而當輸入為“B”時，輸出為“0”。

所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯誤的可能性。

首先，給網絡的各連接權值賦予(0，1)區(qū)間內的隨機值，將“A”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。

在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。

如果輸出為“0”(即結果錯誤)，則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。

如此操作調整，當給網絡輪番輸入若干個手寫字母“A”、“B”后，經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。

這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。

一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的模式也就越多。 （1）人類大腦有很強的自適應與自組織特性，后天的學習與訓練可以開發(fā)許多各具特色的活動功能。

如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結編制程序將十分困難。

人工神經網絡也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環(huán)境的要求。同一網絡因學習方式及內容不同可具有不同的功能。

人工神經網絡是一個具有學習能力的系統(tǒng)，可以發(fā)展知識，以致超過設計者原有的知識水平。

通常，它的學習訓練方式可分為兩種，一種是有監(jiān)督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是無監(jiān)督學習或稱無為導師學習，這時，只規(guī)定學習方式或某些規(guī)則，則具體的學習內容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現環(huán)境特征和規(guī)律性，具有更近似人腦的功能。

（2）泛化能力泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有噪聲的樣本，網絡具備很好的預測能力。

(3)非線性映射能力當對系統(tǒng)對于設計人員來說，很透徹或者很清楚時，則一般利用數值分析，偏微分方程等數學工具建立精確的數學模型，但當對系統(tǒng)很復雜，或者系統(tǒng)未知，系統(tǒng)信息量很少時，建立精確的數學模型很困難時，神經網絡的非線性映射能力則表現出優(yōu)勢，因為它不需要對系統(tǒng)進行透徹的了解，但是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。

(4)高度并行性并行性具有一定的爭議性。承認具有并行性理由：神經網絡是根據人的大腦而抽象出來的數學模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經網絡也應具備很強的并行性。

多少年以來，人們從醫(yī)學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協(xié)同學等各個角度企圖認識并解答上述問題。

在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學科交叉技術領域，稱之為“神經網絡”。神經網絡的研究涉及眾多學科領域，這些領域互相結合、相互滲透并相互推動。

不同領域的科學家又從各自學科的興趣與特色出發(fā)，提出不同的問題，從不同的角度進行研究。

下面將人工神經網絡與通用的計算機工作特點來對比一下：若從速度的角度出發(fā)，人腦神經元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。

但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高于串行結構的普通計算機。

人工神經網絡的基本結構模仿人腦，具有并行處理特征，可以大大提高工作速度。人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區(qū)與計算機區(qū)合為一體。

雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。

普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。

心理學家和認知科學家研究神經網絡的目的在于探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。

生物學、醫(yī)學、腦科學專家試圖通過神經網絡的研究推動腦科學向定量、精確和理論化體系發(fā)展，同時也寄希望于臨床醫(yī)學的新突破；信息處理和計算機科學家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。

人工神經網絡早期的研究工作應追溯至上世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網絡的發(fā)展歷史。

1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。

因而，他們兩人可稱為人工神經網絡研究的先驅。1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。

1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經元構成的再生自動機網絡結構。

但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續(xù)投身于指令存儲式計算機技術的研究，并在此領域作出了巨大貢獻。

雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網絡研究的先驅之一。50年代末，F·Rosenblatt設計制作了“感知機”，它是一種多層的神經網絡。

這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。

然而，這次人工神經網絡的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的研究工作，這是因為當時數字計算機的發(fā)展處于全盛時期，許多人誤以為數字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經網絡相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經網絡的前景失去信心。

60年代末期，人工神經網絡的研究進入了低潮。另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續(xù)取值的線性加權求和閾值網絡。后來，在此基礎上發(fā)展了非線性多層自適應網絡。

當時，這些工作雖未標出神經網絡的名稱，而實際上就是一種人工神經網絡模型。隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。

80年代初期，模擬與數字混合的超大規(guī)模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發(fā)展在若干應用領域遇到困難。這一背景預示，向人工神經網絡尋求出路的時機已經成熟。

美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。

隨即，一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。

1985年，Ackley、Hinton和Sejnowski將模擬退火算法應用到神經網絡訓練中，提出了Boltzmann機，該算法具有逃離極值的優(yōu)點，但是訓練時間需要很長。

1986年，Rumelhart、Hinton和Williams提出了多層前饋神經網絡的學習算法，即BP算法。它從證明的角度推導算法的正確性，是學習算法有理論依據。從學習算法角度上看，是一個很大的進步。

1988年，Broomhead和Lowe第一次提出了徑向基網絡：RBF網絡。總體來說，神經網絡經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。

數據挖掘中的神經網絡和模糊邏輯的概念是啥？

【神經網絡】人工神經網絡（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。

這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。最常用的就是BP神經網絡了，你做數據挖掘SVM也很常用。

【模糊】模糊邏輯指模仿人腦的不確定性概念判斷、推理思維方式，對于模型未知或不能確定的描述系統(tǒng)，以及強非線性、大滯后的控制對象，應用模糊集合和模糊規(guī)則進行推理，表達過渡性界限或定性知識經驗，模擬人腦方式，實行模糊綜合判斷，推理解決常規(guī)方法難于對付的規(guī)則型模糊信息問題。

模糊邏輯善于表達界限不清晰的定性知識與經驗，它借助于隸屬度函數概念，區(qū)分模糊集合，處理模糊關系，模擬人腦實施規(guī)則型推理，解決因“排中律”的邏輯破缺產生的種種不確定問題 。

粗糙集(Roughset,也稱粗集)理論是波蘭學者2.Pawlak于1982年提出的,它為處理不確切的!不完整的信息提供了一種新的數學工具。

粗糙集理論建立在分類機制的基礎之上,將分類理解為特定空間上的等價關系,而等價關系構成了對該空間的劃分。該理論將知識理解為對數據的劃分,每一劃分的集合稱為概念。

粗糙集理論的主要思想是在保持信息系統(tǒng)分類能力不變的前提下,利用己知的知識庫,將不精確或不確定的知識用知識庫中己有的知識來近似刻畫,通過知識的補充!約簡,導出問題的決策或分類規(guī)則。

粗糙集理論與其它處理不確定和不精確問題理論最顯著的區(qū)別是粗糙集理論無須提供問題所需處理的數據集合之外的任何先驗信息,對問題的不確定性的描述或處理比較客觀,又由于這個理論未包含處理不精確或不確定原始數據的機制,所以該理論與概率論!模糊數學!證據理論等其它處理不精確或不確定問題的理論有很強的互補性。

粗糙集理論不僅為信息科學和認知科學提供了新的研究方法,而且為智能信息處理提供了有效的處理技術。

目前粗糙集理論己經是人工智能領域方面的一個研究熱點,成為數據挖掘應用的主要技術之一,受到各國學者的高度重視。

?

總結

以上是生活随笔為你收集整理的卷积神经网络与神经网络,卷积神经网络基础知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。