传统算法与神经网络算法,神经网络是谁提出的
神經網絡的歷史是什么？
沃倫·麥卡洛克和沃爾特·皮茨（1943）基于數學和一種稱為閾值邏輯的算法創造了一種神經網絡的計算模型。這種模型使得神經網絡的研究分裂為兩種不同研究思路。
一種主要關注大腦中的生物學過程，另一種主要關注神經網絡在人工智能里的應用。一、赫布型學習二十世紀40年代后期，心理學家唐納德·赫布根據神經可塑性的機制創造了一種對學習的假說，現在稱作赫布型學習。
赫布型學習被認為是一種典型的非監督式學習規則，它后來的變種是長期增強作用的早期模型。從1948年開始，研究人員將這種計算模型的思想應用到B型圖靈機上。
法利和韋斯利·A·克拉克（1954）首次使用計算機，當時稱作計算器，在MIT模擬了一個赫布網絡。納撒尼爾·羅切斯特（1956）等人模擬了一臺IBM704計算機上的抽象神經網絡的行為。
弗蘭克·羅森布拉特創造了感知機。這是一種模式識別算法，用簡單的加減法實現了兩層的計算機學習網絡。羅森布拉特也用數學符號描述了基本感知機里沒有的回路，例如異或回路。
這種回路一直無法被神經網絡處理，直到保羅·韋伯斯(1975)創造了反向傳播算法。在馬文·明斯基和西摩爾·派普特（1969）發表了一項關于機器學習的研究以后，神經網絡的研究停滯不前。
他們發現了神經網絡的兩個關鍵問題。第一是基本感知機無法處理異或回路。第二個重要的問題是電腦沒有足夠的能力來處理大型神經網絡所需要的很長的計算時間。
直到計算機具有更強的計算能力之前，神經網絡的研究進展緩慢。二、反向傳播算法與復興后來出現的一個關鍵的進展是保羅·韋伯斯發明的反向傳播算法（Werbos1975）。
這個算法有效地解決了異或的問題，還有更普遍的訓練多層神經網絡的問題。在二十世紀80年代中期，分布式并行處理（當時稱作聯結主義）流行起來。
戴維·魯姆哈特和詹姆斯·麥克里蘭德的教材對于聯結主義在計算機模擬神經活動中的應用提供了全面的論述。神經網絡傳統上被認為是大腦中的神經活動的簡化模型，雖然這個模型和大腦的生理結構之間的關聯存在爭議。
人們不清楚人工神經網絡能多大程度地反映大腦的功能。
支持向量機和其他更簡單的方法（例如線性分類器）在機器學習領域的流行度逐漸超過了神經網絡，但是在2000年代后期出現的深度學習重新激發了人們對神經網絡的興趣。
三、2006年之后的進展人們用CMOS創造了用于生物物理模擬和神經形態計算的計算設備。最新的研究顯示了用于大型主成分分析和卷積神經網絡的納米設備具有良好的前景。
如果成功的話，這會創造出一種新的神經計算設備，因為它依賴于學習而不是編程，并且它從根本上就是模擬的而不是數字化的，雖然它的第一個實例可能是數字化的CMOS設備。
在2009到2012年之間，JürgenSchmidhuber在SwissAILabIDSIA的研究小組研發的循環神經網絡和深前饋神經網絡贏得了8項關于模式識別和機器學習的國際比賽。
例如，AlexGravesetal.的雙向、多維的LSTM贏得了2009年ICDAR的3項關于連筆字識別的比賽，而且之前并不知道關于將要學習的3種語言的信息。
IDSIA的DanCiresan和同事根據這個方法編寫的基于GPU的實現贏得了多項模式識別的比賽，包括IJCNN2011交通標志識別比賽等等。
他們的神經網絡也是第一個在重要的基準測試中（例如IJCNN2012交通標志識別和NYU的揚·勒丘恩（YannLeCun）的MNIST手寫數字問題）能達到或超過人類水平的人工模式識別器。
類似1980年KunihikoFukushima發明的neocognitron和視覺標準結構（由DavidH.Hubel和TorstenWiesel在初級視皮層中發現的那些簡單而又復雜的細胞啟發）那樣有深度的、高度非線性的神經結構可以被多倫多大學杰弗里·辛頓實驗室的非監督式學習方法所訓練。
2012年，神經網絡出現了快速的發展，主要原因在于計算技術的提高，使得很多復雜的運算變得成本低廉。以AlexNet為標志，大量的深度網絡開始出現。
2014年出現了殘差神經網絡，該網絡極大解放了神經網絡的深度限制，出現了深度學習的概念。
構成典型的人工神經網絡具有以下三個部分：1、結構（Architecture）結構指定了網絡中的變量和它們的拓撲關系。
例如，神經網絡中的變量可以是神經元連接的權重（weights）和神經元的激勵值（activitiesoftheneurons）。
2、激勵函數（ActivationRule）大部分神經網絡模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。
一般激勵函數依賴于網絡中的權重（即該網絡的參數）。3、學習規則（LearningRule）學習規則指定了網絡中的權重如何隨著時間推進而調整。這一般被看做是一種長時間尺度的動力學規則。
一般情況下，學習規則依賴于神經元的激勵值。它也可能依賴于監督者提供的目標值和當前權重的值。例如，用于手寫識別的一個神經網絡，有一組輸入神經元。輸入神經元會被輸入圖像的數據所激發。
在激勵值被加權并通過一個函數（由網絡的設計者確定）后，這些神經元的激勵值被傳遞到其他神經元。這個過程不斷重復，直到輸出神經元被激發。最后，輸出神經元的激勵值決定了識別出來的是哪個字母。
谷歌人工智能寫作項目：神經網絡偽原創
人工神經網絡的發展歷史
1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網絡和數學模型，稱為MP模型A8U神經網絡。
他們通過MP模型提出了神經元的形式化數學描述和網絡結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網絡研究的時代。1949年，心理學家提出了突觸聯系強度可變的設想。
60年代，人工神經網絡得到了進一步發展，更完善的神經網絡模型被提出，其中包括感知器和自適應線性元件等。
M.Minsky等仔細分析了以感知器為代表的神經網絡系統的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。
他們的論點極大地影響了神經網絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經網絡的研究處于低潮。
在此期間，一些人工神經網絡的研究者仍然致力于這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網絡，同時進行了神經網絡數學理論的研究。以上研究為神經網絡的研究和發展奠定了基礎。
1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了“計算能量”概念，給出了網絡穩定性判斷。
1984年，他又提出了連續時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創了神經網絡用于聯想記憶和優化計算的新途徑，有力地推動了神經網絡的研究，1985年，又有學者提出了波耳茲曼模型，在學習中采用統計熱力學模擬退火技術，保證整個系統趨于全局穩定點。
1986年進行認知微觀結構地研究，提出了并行分布處理的理論。1986年，Rumelhart,Hinton,Williams發展了BP算法。
Rumelhart和McClelland出版了《Paralleldistributionprocessing:explorationsinthemicrostructuresofcognition》。
迄今，BP算法已被用于解決大量實際問題。1988年，Linsker對感知機網絡提出了新的自組織理論，并在Shanon信息論的基礎上形成了最大互信息理論，從而點燃了基于NN的信息應用理論的光芒。
1988年，Broomhead和Lowe用徑向基函數(Radialbasisfunction,RBF)提出分層網絡的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。
90年代初，Vapnik等提出了支持向量機(Supportvectormachines,SVM)和VC(Vapnik-Chervonenkis)維數的概念。
人工神經網絡的研究受到了各個發達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變為全球行為。
在日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。
請問卷積神經網絡的概念誰最早在學術界提出的?
福島邦彥。2021年4月29日，福島邦彥（KunihikoFukushima）獲得2021年鮑爾科學成就獎。
他為深度學習做出了杰出貢獻，其最有影響力的工作當屬「Neocognitron」卷積神經網絡架構。
其實，熟悉這位JürgenSchmidhuber人都知道，他此前一直對自己在深度學習領域的早期原創性成果未能得到業界廣泛承認而耿耿于懷。
1979年，福島博士在STRL開發了一種用于模式識別的神經網絡模型：Neocognitron。很陌生對吧？
但這個Neocognitron用今天的話來說，叫卷積神經網絡（CNN），是深度神經網絡基本結構的最偉大發明之一，也是當前人工智能的核心技術。什么？
卷積神經網絡不是一個叫YannLeCun的大佬發明的嗎？怎么又換成了福島邦彥（KunihikoFukushima）了？
嚴格意義上講，LeCun是第一個使用誤差反向傳播訓練卷積神經網絡（CNN）架構的人，但他并不是第一個發明這個結構的人。
而福島博士引入的Neocognitron，是第一個使用卷積和下采樣的神經網絡，也是卷積神經網絡的雛形。
福島邦彥(KunihikoFukushima)設計的具有學習能力的人工多層神經網絡，可以模仿大腦的視覺網絡，這種「洞察力」成為現代人工智能技術的基礎。
福島博士的工作帶來了一系列實際應用，從自動駕駛汽車到面部識別，從癌癥檢測到洪水預測，還會有越來越多的應用。
神經網絡算法原理
4.2.1概述人工神經網絡的研究與計算機的研究幾乎是同步發展的。
1943年心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型，20世紀50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數的概念提出了神經網絡的一種數學模型，1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播算法等。
神經網絡技術在眾多研究者的努力下，理論上日趨完善，算法種類不斷增加。目前，有關神經網絡的理論研究成果很多，出版了不少有關基礎理論的著作，并且現在仍是全球非線性科學研究的熱點之一。
神經網絡是一種通過模擬人的大腦神經結構去實現人腦智能活動功能的信息處理系統，它具有人腦的基本功能，但又不是人腦的真實寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經網絡（邊肇祺，2000）。
人工神經元是神經網絡的節點，是神經網絡的最重要組成部分之一。目前，有關神經元的模型種類繁多，最常用最簡單的模型是由閾值函數、Sigmoid函數構成的模型（圖4-3）。
圖4-3人工神經元與兩種常見的輸出函數神經網絡學習及識別方法最初是借鑒人腦神經元的學習識別過程提出的。
輸入參數好比神經元接收信號，通過一定的權值（相當于刺激神經興奮的強度）與神經元相連，這一過程有些類似于多元線性回歸，但模擬的非線性特征是通過下一步驟體現的，即通過設定一閾值（神經元興奮極限）來確定神經元的興奮模式，經輸出運算得到輸出結果。
經過大量樣本進入網絡系統學習訓練之后，連接輸入信號與神經元之間的權值達到穩定并可最大限度地符合已經經過訓練的學習樣本。
在被確認網絡結構的合理性和學習效果的高精度之后，將待預測樣本輸入參數代入網絡，達到參數預測的目的。
4.2.2反向傳播算法（BP法）發展到目前為止，神經網絡模型不下十幾種，如前饋神經網絡、感知器、Hopfiled網絡、徑向基函數網絡、反向傳播算法（BP法）等，但在儲層參數反演方面，目前比較成熟比較流行的網絡類型是誤差反向傳播神經網絡（BP-ANN）。
BP網絡是在前饋神經網絡的基礎上發展起來的，始終有一個輸入層（它包含的節點對應于每個輸入變量）和一個輸出層（它包含的節點對應于每個輸出值），以及至少有一個具有任意節點數的隱含層（又稱中間層）。
在BP-ANN中，相鄰層的節點通過一個任意初始權值全部相連，但同一層內各節點間互不相連。
對于BP-ANN，隱含層和輸出層節點的基函數必須是連續的、單調遞增的，當輸入趨于正或負無窮大時，它應該接近于某一固定值，也就是說，基函數為“S”型（Kosko，1992）。
BP-ANN的訓練是一個監督學習過程，涉及兩個數據集，即訓練數據集和監督數據集。
給網絡的輸入層提供一組輸入信息，使其通過網絡而在輸出層上產生逼近期望輸出的過程，稱之為網絡的學習，或稱對網絡進行訓練，實現這一步驟的方法則稱為學習算法。
BP網絡的學習過程包括兩個階段：第一個階段是正向過程，將輸入變量通過輸入層經隱層逐層計算各單元的輸出值；第二階段是反向傳播過程，由輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權值。
誤差信息通過網絡反向傳播，遵循誤差逐步降低的原則來調整權值，直到達到滿意的輸出為止。
網絡經過學習以后，一組合適的、穩定的權值連接權被固定下來，將待預測樣本作為輸入層參數，網絡經過向前傳播便可以得到輸出結果，這就是網絡的預測。
反向傳播算法主要步驟如下：首先選定權系數初始值，然后重復下述過程直至收斂（對各樣本依次計算）。
（1）從前向后各層計算各單元Oj儲層特征研究與預測（2）對輸出層計算δj儲層特征研究與預測（3）從后向前計算各隱層δj儲層特征研究與預測（4）計算并保存各權值修正量儲層特征研究與預測（5）修正權值儲層特征研究與預測以上算法是對每個樣本作權值修正，也可以對各個樣本計算δj后求和，按總誤差修正權值。
BP神經網絡和感知器有什么區別？
1、發展背景不同：感知器是FrankRosenblatt在1957年所發明的一種人工神經網絡，可以被視為一種最簡單形式的前饋式人工神經網絡，是一種二元線性分類器。
而BP神經網絡發展于20世紀80年代中期，DavidRunelhart。
GeoffreyHinton和RonaldW-llians、DavidParker等人分別獨立發現了誤差反向傳播算法，簡稱BP，系統解決了多層神經網絡隱含層連接權學習問題，并在數學上給出了完整推導。
2、結構不同：BP網絡是在輸入層與輸出層之間增加若干層(一層或多層)神經元，這些神經元稱為隱單元，它們與外界沒有直接的聯系，但其狀態的改變，則能影響輸入與輸出之間的關系，每一層可以有若干個節點。
感知器也被指為單層的人工神經網絡，以區別于較復雜的多層感知器（MultilayerPerceptron）。作為一種線性分類器，（單層）感知器可說是最簡單的前向人工神經網絡形式。
3、算法不同：BP神經網絡的計算過程由正向計算過程和反向計算過程組成。正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，并轉向輸出層，每層神經元的狀態只影響下一層神經元的狀態。
感知器使用特征向量來表示的前饋式人工神經網絡，它是一種二元分類器，輸入直接經過權重關系轉換為輸出。參考資料來源：百度百科-感知器參考資料來源：百度百科-BP神經網絡。
自學bp神經網絡要有什么基礎??
。
簡介：BP（BackPropagation）網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。
BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)摘要：BP神經網絡算法是在BP神經網絡現有算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。
關鍵詞：固定權值；gauss消元法；BP算法人工神經網絡（artificialneuralnetworks，ANN）系統是20世紀40年代后出現的，它是由眾多的神經元可調的連接權值連接而成，具有大規模并行處理、分布式信息存儲、良好的自組織自學習能力等特點，在信息處理、模式識別、智能控制及系統建模等領域得到越來越廣泛的應用。
尤其誤差反向傳播算法（ErrorBack－propagationTraining，簡稱BP網絡）可以逼近任意連續函數，具有很強的非線性映射能力，而且網絡的中間層數、各層的處理單元數及網絡的學習系數等參數可根據具體情況設定，靈活性很大，所以它在許多應用領域中起到重要作用。
近年來，為了解決BP神經網絡收斂速度慢、不能保證收斂到全局最小點，網絡的中間層及它的單元數選取無理論指導及網絡學習和記憶的不穩定性等缺陷，提出了許多改進算法。
1傳統的BP算法簡述BP算法是一種有監督式的學習算法，其主要思想是：輸入學習樣本，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網絡的權值和偏差。
具體步驟如下：（1）初始化，隨機給定各連接權［w］,［v］及閥值θi，rt。
（2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出bj＝f（■wijai-θj）ct＝f（■vjtbj－rt）式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。
dtk＝（ytk－ct）ct（1－ct）ejk＝［■dtvjt］bj（1－bj）式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。
（3）計算新的連接權及閥值，計算公式如下：vjt（n＋1）＝vjt（n）＋琢dtkbjwij（n＋1）＝wij（n）＋茁ejkaikrt（n＋1）＝rt（n）＋琢dtkθj（n＋1）=θj（n）＋茁ejk式中：琢，茁為學習系數（0＜琢＜1，0＜茁＜1）。
（4）選取下一個輸入模式對返回第2步反復訓練直到網絡設輸出誤差達到要求結束訓練。
傳統的BP算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，并通過負梯度下降算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的算法，即高斯消元法。
“AI”能自我進化嗎？
AI確實進化了，它能做的事情越來越多，成績斐然。它的背后是AI實現路徑的“三級跳”。但是“AI自開發短期內應該無法替代人的工作，還有很長的路要走。”徐文娟說。
趙志剛從學術角度分析道：“只有當人類把不同應用領域的AI模型設計出來，并進一步分解出一系列通用模塊，如同化學中的元素周期表、生物中的DNA、RNA，這種自開發才能有更多的應用。
”“僅需幾行代碼就能構建一個回歸模型?！背绦騿T認可谷歌AutoML的工作表現，認為AutoML設計的模型和機器學習專家設計的不相上下。日前，谷歌工程師分別在中國和硅谷重點推介谷歌AutoML項目。
不明就里的疑惑緊跟著紛至沓來——AI又進化了？！已經會自開發了？能操控自己的進化了？是要擺脫人類嗎？
國家超級計算濟南中心大數據研發部研究員趙志剛說：“起初我們用數學公式和‘if……then’等語句告訴計算機第一步做什么、第二步做什么，手把手地教，后來給機器n組輸入和輸出，中間的規則或規律由它自己學會。
”“之前，很多聰明的頭腦花一輩子時間研究：如何抽取有效的特征。
”專注于智能導購對話機器人的智能一點公司CTO莫瑜解釋道，“神經網絡算法的發明、深度學習技術的出現，使得AI進化到2.0，抽取特征的工作由AI自己進行，我們的工作也隨之發生了變化。
”用數學函數的模式很容易解釋“1.0”到“2.0”的轉變：如果把識別圖像、語義理解、下棋等任務的達成都看成是不同的Y=f（X），即輸入的“貓”的圖片、聲音或棋招是“X”，輸出的“貓”、回答、棋高一招是“Y”。
深度學習之前，人通過自己的分析尋找函數f對應的公式，告訴給AI。而深度學習之后，人輸入大量的X與Y的對應，AI自己發現函數f對應的公式。
“AI找到的函數f的具體內容，可能比人找到的更好，但是人類并不知道，就像一個黑匣子。
”莫瑜說，“但是f的形式是AI研究員通過研究設計出來的，如果使用深度神經網絡，網絡中的模塊以及模塊之間的組織方式也是提前設計的。”隨著深度學習技術的成熟和普遍化，模型構建出現了特定可追尋的經驗。
“各種共性神經網絡的發布，使得從業門檻越來越低。一些普通的模型構建與優化，剛畢業的學生在網上學學教程就能上手?！壁w志剛說。當構建模型成為可習得的技能，AutoML就出現了。
它能做的正是AI研究員的模型設計工作?！皩椭煌窘⑷斯ぶ悄芟到y，即使他們沒有廣泛的專業知識?！惫雀韫こ處熯@樣推介。AI成功進化到3.0。
事實上，AutoML替代的仍舊是人類能夠提煉出經驗的工作。“如果說之前人描繪一套尋找函數f的‘路網’，在深度學習的技術輔助下，機器能最快找到優化路徑；那么AI現在可以自己設計路網了?！壁w志剛言簡意賅。
可以看出，不論是深度學習、還是AutoML，都只替代人類的一部分群體已經鉆研透了的工作。“機器能做的事情，盡量不要手工勞動”，這是很多程序員的人生信條，這個信條催生了AutoML。
本著同樣的信條，微軟開發了DeepCoder。“它可以用來生成滿足給定輸入輸出的程序?！蹦ふf，但它的表現目前還不盡如人意，只能編寫一些簡單的程序。誰是“上帝”答案毫無疑問，人類。
既然AI在進化中走向了更高一階的模型設計，那么“上帝之手”又發生了哪些變化呢？
“煉丹”，莫瑜用兩個字形象地說起自己的工作，“智能一點是專業做智能客服的，研發人員的工作主要集中于問題建模（如何將實際問題轉化為人工智能技術解決的問題）和算法優化（如何提升人工智能算法的效果）。
”“煉”意味著不斷地調試和完善?！搬槍μ囟ǖ娜?#xff0c;越投脾氣越好，回答越精準越好。”莫瑜說，“我們的X是客戶的問話，Y是機器人客服的回復，中間的函數f需要訓練?！边@是個不容易的任務。
如果把人類社會的經驗分為3類：有公式的確定規則、可言傳的知識、只可意會不可言傳的感覺。最后一類最難琢磨。
“因此，我們想辦法構建完善的閉環反饋，了解特定用戶的喜好，通過情感、趣味的表達，最終做到投其所好。
”莫瑜說，“目前處于人機協同的工作階段，但是越來越多樣本的獲取，將幫助我們的智能客服給出精準的、討喜的回答。
”可見，并不是所有領域都適合交給AI自開發去做，比如問題建模方面，如何將實際問題抽象轉換為機器學習問題，AI還無法自主完成。在AI2.0階段，研發人員還需要人工設計函數f的形式。
什么是神經網絡共識算法？
BP（BackPropagation）網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。
BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)。
神經網絡算法的人工神經網絡
人工神經網絡（ArtificialNeuralNetworks，ANN）系統是20世紀40年代后出現的。
它是由眾多的神經元可調的連接權值連接而成，具有大規模并行處理、分布式信息存儲、良好的自組織自學習能力等特點。
BP（BackPropagation）算法又稱為誤差反向傳播算法，是人工神經網絡中的一種監督式的學習算法。
BP神經網絡算法在理論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。
而且網絡的中間層數、各層的處理單元數及網絡的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許多領域都有著廣泛的應用前景。
人工神經元的研究起源于腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。
大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網絡，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。
神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。
樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。樹突是細胞體的延伸部分，它由細胞體發出后逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系，形成所謂“突觸”。
在突觸處兩神經元并未連通，它只是發生信息傳遞功能的結合部，聯系界面之間間隙約為（15～50)×10米。突觸可分為興奮性與抑制性兩種類型，它相應于神經元之間耦合的極性。
每個神經元的突觸數目正常，最高可達10個。各神經元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網絡可顯示出人的大腦的某些特征。
人工神經網絡是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網絡反映了人腦功能的若干基本特性，但并非生物系統的逼真描述，只是某種模仿、簡化和抽象。
與數字計算機比較，人工神經網絡在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程控制。
人工神經網絡首先要以一定的學習準則進行學習，然后才能工作?，F以人工神經網絡對于寫“A”、“B”兩個字母的識別為例進行說明，規定當“A”輸入網絡時，應該輸出“1”，而當輸入為“B”時，輸出為“0”。
所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯誤的可能性。
首先，給網絡的各連接權值賦予(0，1)區間內的隨機值，將“A”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。
在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。
如果輸出為“0”(即結果錯誤)，則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“A”模式輸入時，減小犯同樣錯誤的可能性。
如此操作調整，當給網絡輪番輸入若干個手寫字母“A”、“B”后，經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。
這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠作出迅速、準確的判斷和識別。
一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的模式也就越多。（1）人類大腦有很強的自適應與自組織特性，后天的學習與訓練可以開發許多各具特色的活動功能。
如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結編制程序將十分困難。
人工神經網絡也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網絡因學習方式及內容不同可具有不同的功能。
人工神經網絡是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。
通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境（即輸入信號情況）而異，系統可以自動發現環境特征和規律性，具有更近似人腦的功能。
（2）泛化能力泛化能力指對沒有訓練過的樣本，有很好的預測能力和控制能力。特別是，當存在一些有噪聲的樣本，網絡具備很好的預測能力。
(3)非線性映射能力當對系統對于設計人員來說，很透徹或者很清楚時，則一般利用數值分析，偏微分方程等數學工具建立精確的數學模型，但當對系統很復雜，或者系統未知，系統信息量很少時，建立精確的數學模型很困難時，神經網絡的非線性映射能力則表現出優勢，因為它不需要對系統進行透徹的了解，但是同時能達到輸入與輸出的映射關系，這就大大簡化設計的難度。
(4)高度并行性并行性具有一定的爭議性。承認具有并行性理由：神經網絡是根據人的大腦而抽象出來的數學模型，由于人可以同時做一些事，所以從功能的模擬角度上看，神經網絡也應具備很強的并行性。
多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識并解答上述問題。
在尋找上述問題答案的研究過程中，這些年來逐漸形成了一個新興的多學科交叉技術領域，稱之為“神經網絡”。神經網絡的研究涉及眾多學科領域，這些領域互相結合、相互滲透并相互推動。
不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。
下面將人工神經網絡與通用的計算機工作特點來對比一下：若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往可達幾百兆赫。
但是，由于人腦是一個大規模并行與串行組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高于串行結構的普通計算機。
人工神經網絡的基本結構模仿人腦，具有并行處理特征，可以大大提高工作速度。人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區與計算機區合為一體。
雖然人腦每日有大量神經細胞死亡（平均每小時約一千個），但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。
心理學家和認知科學家研究神經網絡的目的在于探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網絡的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望于臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在于尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。
人工神經網絡早期的研究工作應追溯至上世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網絡的發展歷史。
1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。
因而，他們兩人可稱為人工神經網絡研究的先驅。1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。
1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網絡結構。
但是，由于指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續投身于指令存儲式計算機技術的研究，并在此領域作出了巨大貢獻。
雖然，馮·諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網絡研究的先驅之一。50年代末，F·Rosenblatt設計制作了“感知機”，它是一種多層的神經網絡。
這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。
然而，這次人工神經網絡的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處于全盛時期，許多人誤以為數字計算機可以解決人工智能、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作在規模上與真實的神經網絡相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異感這樣的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經網絡的前景失去信心。
60年代末期，人工神經網絡的研究進入了低潮。另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續取值的線性加權求和閾值網絡。后來，在此基礎上發展了非線性多層自適應網絡。
當時，這些工作雖未標出神經網絡的名稱，而實際上就是一種人工神經網絡模型。隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。
80年代初期，模擬與數字混合的超大規模集成電路制作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網絡尋求出路的時機已經成熟。
美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。
隨即，一大批學者和研究人員圍繞著Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。
1985年，Ackley、Hinton和Sejnowski將模擬退火算法應用到神經網絡訓練中，提出了Boltzmann機，該算法具有逃離極值的優點，但是訓練時間需要很長。
1986年，Rumelhart、Hinton和Williams提出了多層前饋神經網絡的學習算法，即BP算法。它從證明的角度推導算法的正確性，是學習算法有理論依據。從學習算法角度上看，是一個很大的進步。
1988年，Broomhead和Lowe第一次提出了徑向基網絡：RBF網絡?？傮w來說，神經網絡經歷了從高潮到低谷，再到高潮的階段，充滿曲折的過程。
第一篇提出BP神經網絡的論文是哪一篇？
。
最初是86年，Rumelhart和McCelland領導的科學家小組在《平行分布式處理》一書中，對具有非線性連續變換函數的多層感知器的誤差反向傳播BP算法進行了詳盡的分析，實現了Minsky關于多層網絡的設想。
一般引用的話，無需引用第一篇，只需引用介紹BP網絡的文獻即可。最開始的文獻往往理論不完善。反而閱讀意義不大。
?
總結
以上是生活随笔為你收集整理的传统算法与神经网络算法,神经网络是谁提出的的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Zhong__pymysql基本使用
- 下一篇： 主机电子游戏攻略资源分享