神經(jīng)網(wǎng)絡(luò)算法可以求最優(yōu)解嘛?

神經(jīng)網(wǎng)絡(luò)可以做優(yōu)化問題，但不一定能找到最優(yōu)解。

邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程；它先將信息化成概念，并用符號表示，然后，根據(jù)符號運(yùn)算按串行模式進(jìn)行邏輯推理；這一過程可以寫成串行的指令，讓計(jì)算機(jī)執(zhí)行。

直觀性的思維是將分布式存儲的信息綜合起來，忽然間產(chǎn)生的想法或解決問題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn)：1、信息是通過神經(jīng)元上的興奮模式分布存儲在網(wǎng)絡(luò)上。

2、信息處理是通過神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過程來完成的。神經(jīng)網(wǎng)絡(luò)：思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。

雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。

谷歌人工智能寫作項(xiàng)目：小發(fā)貓

計(jì)算機(jī)學(xué)習(xí)的分類

分類；數(shù)據(jù)挖掘分類是數(shù)據(jù)挖掘的重要任務(wù)之一，分類在實(shí)際應(yīng)用中有廣泛的應(yīng)用，如醫(yī)療事業(yè)、信用等級等常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。近年來，分類方法得到了發(fā)展，本文對這些方法進(jìn)行了歸納分析，總結(jié)了今后分類方法發(fā)展的方向。

1引言分類是學(xué)會(huì)一個(gè)分類函數(shù)或分類模型，該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)。分類可用于提取描述重要數(shù)據(jù)類的模型或預(yù)測未來的數(shù)據(jù)趨勢。

分類可描述如下：輸入數(shù)據(jù)，或稱訓(xùn)練集是一條條記錄組成的。每一條記錄包含若干條屬性，組成一個(gè)特征向量。訓(xùn)練集的每條記錄還有一個(gè)特定的類標(biāo)簽與之對應(yīng)。該類標(biāo)簽是系統(tǒng)的輸入，通常是以往的一些經(jīng)驗(yàn)數(shù)據(jù)。

一個(gè)具體樣本的形式可為樣本向量：。在這里vi表示字段值，c表示類別。

分類作為數(shù)據(jù)挖掘的一個(gè)重要分支，在商業(yè)、醫(yī)學(xué)、軍事、體育等領(lǐng)域都有廣泛的應(yīng)用，在過去的十多年中引起很多來自不同領(lǐng)域?qū)W者的關(guān)注和研究。

除了基本的統(tǒng)計(jì)分析方法外，數(shù)據(jù)挖掘技術(shù)主要有：神經(jīng)網(wǎng)絡(luò)、決策樹、粗糙集、模糊集、貝葉斯網(wǎng)絡(luò)、遺傳算法、k近鄰分類算法與支持向量機(jī)等。

不同的分類器有不同的特點(diǎn)，目前有三種分類器評價(jià)或比較尺度：1)預(yù)測準(zhǔn)確度。預(yù)測準(zhǔn)確度是用得最多的一種比較尺度，特別是對于預(yù)測型分類任務(wù)，目前公認(rèn)的方法是10折分層交叉驗(yàn)證法；2)計(jì)算復(fù)雜度。

計(jì)算復(fù)雜度依賴于具體的實(shí)現(xiàn)細(xì)節(jié)和硬件環(huán)境，空間和時(shí)間的復(fù)雜度問題將是非常重要的一個(gè)環(huán)節(jié)；3)模型描述的簡潔度。

模型描述越簡潔越受歡迎，如采用規(guī)則表示的分類器結(jié)果就較容易理解，而神經(jīng)網(wǎng)絡(luò)方法產(chǎn)生的結(jié)果就難以理解。

不同的算法有不同的特點(diǎn)，充分認(rèn)識各算法的優(yōu)點(diǎn)和存在的缺陷，掌握其適應(yīng)的環(huán)境，方便研究者明確算法的改進(jìn)和研究，本文主要對算法的研究現(xiàn)狀進(jìn)行分析和比較。

2分類方法的發(fā)展2.1決策樹的分類方法ID3算法是較早的決策樹歸納算法。當(dāng)前最有影響的決策樹算法是Quinlan于1986年提出的ID3和1993年提出的C4.5。

ID3選擇增益值最大的屬性劃分訓(xùn)練樣本，其目的是進(jìn)行分裂時(shí)系統(tǒng)的熵最小，從而提高算法的運(yùn)算速度和精確度。

這種方法的優(yōu)點(diǎn)是描述簡單、分類速度快和產(chǎn)生的分類規(guī)則易于理解；但缺點(diǎn)是抗噪性差、訓(xùn)練正例和反例較難控制以及是非遞增學(xué)習(xí)算法。

C4.5是ID3的改進(jìn)算法，不僅可以處理離散值屬性，還能處理連續(xù)值屬性，但是也不能進(jìn)行增量學(xué)習(xí)。SLIQ是一個(gè)能夠處理連續(xù)及離散屬性的決策樹分類器。

該算法針對C4.5分類算法產(chǎn)生的樣本反復(fù)掃描和排序低效問題，采用了預(yù)排序和寬度優(yōu)先兩項(xiàng)技術(shù)。預(yù)排序技術(shù)消除了結(jié)點(diǎn)數(shù)據(jù)集排序，寬度優(yōu)先為決策樹中每個(gè)葉結(jié)點(diǎn)找到了最優(yōu)分裂標(biāo)準(zhǔn)。

這些技術(shù)結(jié)合使SLIQ能夠處理大規(guī)模的數(shù)據(jù)集，并能對具有大量的類、屬性與樣本的數(shù)據(jù)集分類；并且該算法代價(jià)不高且生成緊湊精確的樹。缺點(diǎn)是內(nèi)存駐留數(shù)據(jù)會(huì)隨著輸入紀(jì)錄數(shù)線性正比增大，限制了分類訓(xùn)練的數(shù)據(jù)量。

SPRINT方法完全不受內(nèi)存的限制，并且處理速度很快，且可擴(kuò)展。

為了減少駐留于內(nèi)存的數(shù)據(jù)量，該算法進(jìn)一步改進(jìn)了決策樹算法的數(shù)據(jù)結(jié)構(gòu)，去掉了SLIQ中需要駐留于內(nèi)存的類別列表，將類別合并到每個(gè)屬性列表中。

但是對非分裂屬性的屬性列表進(jìn)行分裂卻比較困難，因此該算法的可擴(kuò)展性較差。

2.2貝葉斯分類方法貝葉斯分類是統(tǒng)計(jì)學(xué)分類方法，是利用Bayes定理來預(yù)測一個(gè)未知類別的樣本可能屬性，選擇其可能性最大的類別作為樣本的類別。

樸素貝葉斯網(wǎng)絡(luò)作為一種快速而高效的算法而受到人們的關(guān)注，但是其屬性獨(dú)立性并不符合現(xiàn)實(shí)世界，這樣的假設(shè)降低了樸素貝葉斯網(wǎng)絡(luò)的性能；但是如果考慮所有屬性之間的依賴關(guān)系，使其表示依賴關(guān)系的能力增強(qiáng)，允許屬性之間可以形成任意的有向圖，由于其結(jié)構(gòu)的任意性，這樣使得貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)難以學(xué)習(xí)，然而，貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)是一個(gè)NP-Complete問題。

目前對于貝葉斯網(wǎng)絡(luò)的改進(jìn)主要包括了：1)基于屬性選擇的方法，保證選擇的屬性之間具有最大的屬性獨(dú)立性，其中代表算法是由Langley提出SBC；2)擴(kuò)展樸素貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)，考慮屬性之間的依賴關(guān)系，降低屬性獨(dú)立性假設(shè)，其中代表算法是由Friedman提出樹擴(kuò)展的貝葉斯網(wǎng)絡(luò)TAN；3)基于實(shí)例的學(xué)習(xí)算法。

其中1)、2)的算法是根據(jù)訓(xùn)練集合構(gòu)造一個(gè)分類器，是一種積極的學(xué)習(xí)算法，3)的方法是一種消極的學(xué)習(xí)算法。

2.3粗糙集分類方法粗糙集理論是一種刻劃不完整和不確定性數(shù)據(jù)的數(shù)學(xué)工具，不需要先驗(yàn)知識，能有效處理各種不完備，從中發(fā)現(xiàn)隱含的知識，并和各種分類技術(shù)相結(jié)合建立起能夠?qū)Σ煌陚鋽?shù)據(jù)進(jìn)行分類的算法。

粗糙集理論包含求取數(shù)據(jù)中最小不變集和最小規(guī)則集的理論，即約簡算法，這也是粗糙集理論在分類中的主要應(yīng)用。

2.4神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是分類技術(shù)中重要方法之一，是大量的簡單神經(jīng)元按一定規(guī)則連接構(gòu)成的網(wǎng)絡(luò)系統(tǒng)。

它能夠模擬人類大腦的結(jié)構(gòu)和功能，采用某種學(xué)習(xí)算法從訓(xùn)練樣本中學(xué)習(xí)，并將獲取的知識存儲在網(wǎng)絡(luò)各單元之間的連接權(quán)中。神經(jīng)網(wǎng)絡(luò)主要有前向神經(jīng)網(wǎng)絡(luò)、后向神經(jīng)網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。

目前神經(jīng)網(wǎng)絡(luò)分類算法研究較多集中在以BP為代表的神經(jīng)網(wǎng)絡(luò)上。文獻(xiàn)提出了粒子群優(yōu)化算法用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，在訓(xùn)練權(quán)值同時(shí)刪除冗余連接，與BP結(jié)果比較表明算法的有效性。

文獻(xiàn)提出旋轉(zhuǎn)曲面變換粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)，使待優(yōu)化函數(shù)跳出局部極值點(diǎn)，提高訓(xùn)練權(quán)值的效率。

2.5K近鄰分類算法K近鄰分類算法是最簡單有效的分類方法之一，是在多維空間中找到與未知樣本最近鄰的K個(gè)點(diǎn)，并根據(jù)這K個(gè)點(diǎn)的類別判斷未知樣本的類別。

但是有兩個(gè)最大缺點(diǎn)：1)由于要存儲所有的訓(xùn)練數(shù)據(jù)，所以對大規(guī)模數(shù)據(jù)集進(jìn)行分類是低效的；2)分類的效果在很大程度上依賴于K值選擇的好壞。

文獻(xiàn)提出一種有效的K近鄰分類算法，利用向量方差和小波逼近系數(shù)得出兩個(gè)不等式，根據(jù)這兩個(gè)不等式，分類效率得到了提高。

文獻(xiàn)提出用粒子群優(yōu)化算法對訓(xùn)練樣本進(jìn)行有指導(dǎo)的全局隨機(jī)搜索，掠過大量不可能的K向量，該算法比KNN方法計(jì)算時(shí)間降低了70%。

2.6基于關(guān)聯(lián)規(guī)則挖掘的分類方法關(guān)聯(lián)分類方法一般由兩部組成：第一步用關(guān)聯(lián)規(guī)則挖掘算法從訓(xùn)練數(shù)據(jù)集中挖掘出所有滿足指定支持度和置信度的類關(guān)聯(lián)規(guī)則，支持度用于衡量關(guān)聯(lián)規(guī)則在整個(gè)數(shù)據(jù)集中的統(tǒng)計(jì)重要性，而置信度用于衡量關(guān)聯(lián)規(guī)則的可信程度；第二步使用啟發(fā)式方法從挖掘出的類關(guān)聯(lián)規(guī)則中挑選出一組高質(zhì)量的規(guī)則用于分類。

Agrawal等人于1993年提出了算法AIS和SETM，1994年又提出了Apriori和AprioriTid，后兩個(gè)算法和前兩個(gè)算法的不同之處在于：在對數(shù)據(jù)庫的一次遍歷中，那些候選數(shù)據(jù)項(xiàng)目被計(jì)數(shù)以及產(chǎn)生候選數(shù)據(jù)項(xiàng)目集的方法。

但前兩者方法的缺點(diǎn)是會(huì)導(dǎo)致許多不必要的數(shù)據(jù)項(xiàng)目集的生成和計(jì)數(shù)。

由于目前日常生活中如附加郵遞、目錄設(shè)計(jì)、追加銷售、倉儲規(guī)劃都用到了關(guān)聯(lián)規(guī)則，因此首先要考慮關(guān)聯(lián)規(guī)則的高效更新問題，D.w.cheung提出了增量式更新算法FUP，它的基本框架和Apriori是一致的；接著馮玉才等提出了兩種高效的增量式更新算法IUA和PIUA，主要考慮當(dāng)最小支持度和最小可信度發(fā)生變化時(shí)，當(dāng)前交易數(shù)據(jù)庫中關(guān)聯(lián)規(guī)則的更新問題。

2.7支持向量機(jī)方法的發(fā)展支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)之上的。根據(jù)有限樣本、在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求折衷，以期獲得最好推廣能力。

它非常適合于處理非線性問題。分類問題是支持向量機(jī)最為成熟和應(yīng)用最廣的算法。但是由于SVM的訓(xùn)練時(shí)間會(huì)隨著數(shù)據(jù)集的增大而增加，所以在處理大規(guī)模數(shù)據(jù)集時(shí)，SVM往往需要較長的訓(xùn)練時(shí)間。

文獻(xiàn)提出了一種多分類問題的改進(jìn)支持向量機(jī)，將GA和SVM相結(jié)合，構(gòu)造了一種參數(shù)優(yōu)化GA-SVM，該方法在多分類非平衡問題上，提高了分類正確率，也提高了學(xué)習(xí)時(shí)間。

文獻(xiàn)提出了一種新的支持向量機(jī)增量算法，提出了一種誤分點(diǎn)回溯增量算法，先找出新增樣本中誤分的樣本，然后在原樣本集尋找距誤分點(diǎn)最近的樣本作為訓(xùn)練集的一部分，重新構(gòu)建分類器，有效保留樣本的分類，結(jié)果表明比傳統(tǒng)的SVM有更高的分類精度。

2.8基于群的分類方法這種方法可以看作是進(jìn)化算法的一個(gè)新的分支，它模擬了生物界中蟻群、魚群和鳥群在覓食或者逃避敵人時(shí)的行為，對基于群的分類方法研究，可以將這種方法分為兩類：一類是蟻群算法，另一類稱為微粒群算法。

文獻(xiàn)提出了一種基于蟻群算法的分類規(guī)則挖掘算法，針對蟻群算法計(jì)算時(shí)間長的缺點(diǎn)，提出了一種變異算子，用公用數(shù)據(jù)作試驗(yàn)將其結(jié)果與C4.5和Ant-Miner比較，顯示變異算子節(jié)省了計(jì)算時(shí)間。

PSO是進(jìn)化計(jì)算的一個(gè)新的分支，它模擬了鳥群或魚群的行為。在優(yōu)化領(lǐng)域中，PSO可以與遺傳算法相媲美。

文獻(xiàn)提出了基于粒子群優(yōu)化算法的模式分類規(guī)則獲取，算法用于Iris數(shù)據(jù)集進(jìn)行分類規(guī)則的提取，與其他算法比較顯示不僅提高了正確率，而且較少了計(jì)算時(shí)間。

文獻(xiàn)將PSO運(yùn)用于分類規(guī)則提取，對PSO進(jìn)行了改進(jìn)，改進(jìn)的算法與C4.5算法比較，試驗(yàn)結(jié)果表明，在預(yù)測精度和運(yùn)行速度上都占優(yōu)勢。

由于PSO算法用于分類問題還處于初期，因此要將其運(yùn)用到大規(guī)模的應(yīng)用中還要大量的研究。3總結(jié)分類是數(shù)據(jù)挖掘的主要研究內(nèi)容之一，本文對分類算法進(jìn)行了分析，從而便于對已有算法進(jìn)行改進(jìn)。

未來的數(shù)據(jù)分類方法研究更多地集中在智能群分類領(lǐng)域，如蟻群算法、遺傳算法、微粒群算法等分類研究上以及混合算法來進(jìn)行分類。總之，分類方法將朝著更高級、更多樣化和更加綜合化的方向發(fā)展。

參考文獻(xiàn)：邵峰晶，于忠清．數(shù)據(jù)挖掘原理與算法．中國水利水電出版社，2003.陳文偉，黃金才．數(shù)據(jù)倉庫與數(shù)據(jù)挖掘．人民郵電出版社，2004.L.Jiang，H.Zhang，，EvolutionalNaiveBayes，Proceedingsofthe2005InternationalSymposiumonIntelligentComputationanditsApplication，ISICA2005，pp.344-350，ChinaUniversityofGeosciencesPress.Langley，P.，Sage，S，InductionofselectiveBayesianclassifiers，inProceedingsoftheTenthConferenceonUncertaintyinArtificialIntelligence，pp.339-406.Friedman，N.，Greiger，D.，Goldszmidt，M.，BayesianNetworkClassifiers，MachineLearning29103-130.T.Mitchell.MachineLearning.NewYork:McGraw-HillPress，1997.曾黃麟．粗糙理論以及應(yīng)用．重慶大學(xué)出版社，1996.高海兵、高亮等．基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究．電子學(xué)報(bào)，2004，9.熊勇，陳德釗，胡上序．基于旋轉(zhuǎn)曲面變換PSO算法的神經(jīng)網(wǎng)絡(luò)用于胺類有機(jī)物毒性分類．分析化學(xué)研究報(bào)告，2006，3.喬玉龍，潘正祥，孫圣和．一種改進(jìn)的快速K近鄰分類算法．電子學(xué)報(bào)，2005，6.張國英，沙蕓，江惠娜．基于粒子群優(yōu)化的快速KNN分類算法．山東大學(xué)學(xué)報(bào)，2006，6.黃景濤，馬龍華，錢積新．一種用于多分類問題的改進(jìn)支持向量機(jī)．浙江大學(xué)學(xué)報(bào)，2004，12.毛建洋，黃道．一種新的支持向量機(jī)增量算法．華東理工大學(xué)學(xué)報(bào)，2006，8.吳正龍，王儒敬等．基于蟻群算法的分類規(guī)則挖掘算法．計(jì)算機(jī)工程與應(yīng)用，2004.高亮，高海兵等．基于粒子群優(yōu)化算法的模式分類規(guī)則獲取．華中科技大學(xué)學(xué)報(bào)．2004，11.延麗萍，曾建潮．利用多群體PSO生成分類規(guī)則．計(jì)算機(jī)工程與科學(xué)，2007，2.。

bp神經(jīng)網(wǎng)絡(luò)用啥算法？

自己找個(gè)例子算一下，推導(dǎo)一下，這個(gè)回答起來比較復(fù)雜神經(jīng)網(wǎng)絡(luò)對模型的表達(dá)能力依賴于優(yōu)化算法，優(yōu)化是一個(gè)不斷計(jì)算梯度并調(diào)整可學(xué)習(xí)參數(shù)的過程，Fluid中的優(yōu)化算法可參考?優(yōu)化器?。

在網(wǎng)絡(luò)的訓(xùn)練過程中，梯度計(jì)算分為兩個(gè)步驟：前向計(jì)算與?反向傳播?。前向計(jì)算會(huì)根據(jù)您搭建的網(wǎng)絡(luò)結(jié)構(gòu)，將輸入單元的狀態(tài)傳遞到輸出單元。

反向傳播借助?鏈?zhǔn)椒▌t?，計(jì)算兩個(gè)或兩個(gè)以上復(fù)合函數(shù)的導(dǎo)數(shù)，將輸出單元的梯度反向傳播回輸入單元，根據(jù)計(jì)算出的梯度，調(diào)整網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)。BP算法隱層的引入使網(wǎng)絡(luò)具有很大的潛力。

但正像Minskey和Papert當(dāng)時(shí)所指出的．雖然對所有那些能用簡單(無隱層)網(wǎng)結(jié)解決的問題有非常簡單的學(xué)習(xí)規(guī)則，即簡單感知器的收斂程序(主要?dú)w功于Widrow和HMf于1960年提出的Delta規(guī)剛)，BP算法但當(dāng)時(shí)并沒有找到同樣有技的含隱層的同培的學(xué)習(xí)規(guī)則。

對此問題的研究有三個(gè)基本的結(jié)果。一種是使用簡單無監(jiān)督學(xué)習(xí)規(guī)則的競爭學(xué)習(xí)方法．但它缺乏外部信息．難以確定適臺映射的隱層結(jié)構(gòu)。第二條途徑是假設(shè)一十內(nèi)部(隱層)的表示方法，這在一些先約條件下是臺理的。

另一種方法是利用統(tǒng)計(jì)手段設(shè)計(jì)一個(gè)學(xué)習(xí)過程使之能有技地實(shí)現(xiàn)適當(dāng)?shù)膬?nèi)部表示法，Hinton等人(1984年)提出的Bolzmann機(jī)是這種方法的典型例子．它要求網(wǎng)絡(luò)在兩個(gè)不同的狀態(tài)下達(dá)到平衡，并且只局限于對稱網(wǎng)絡(luò)。

Barto和他的同事(1985年)提出了另一條利用統(tǒng)計(jì)手段的學(xué)習(xí)方法。

但迄今為止最有教和最實(shí)用的方瑤是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法則，即反向傳播(BP)算法。

Parter(1985年)也獨(dú)立地得出過相似的算法,他稱之為學(xué)習(xí)邏輯。此外，Lecun(1985年)也研究出大致相似的學(xué)習(xí)法則。

神經(jīng)網(wǎng)絡(luò)BP算法中,如何選擇網(wǎng)絡(luò)學(xué)習(xí)效率及閾值調(diào)整效率

遺傳算法優(yōu)化bp神經(jīng)網(wǎng)絡(luò)，訓(xùn)練好后，做預(yù)測會(huì)更加準(zhǔn)確？求大神告知！

用遺傳算法優(yōu)化bp神經(jīng)網(wǎng)絡(luò)，訓(xùn)練變快！是怎么回事？

總結(jié)

以上是生活随笔為你收集整理的人工神经网络优化算法,进化算法优化神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。