什么是算法,为什么需要学算法,以及算法学到什么程度
第一個問題我覺得我無法給出完美的答案,這里搞競賽的牛人蠻多,不妨說說體會。
我個人覺得算法里面極大一部分內(nèi)容是如何有效地進(jìn)行搜索,這里的”有效”可以分為:避免不必要的計算(如A*尋路以及所有的啟發(fā)式剪枝),緩存重復(fù)計算(如所有-的動態(tài)規(guī)劃)。當(dāng)然,知道這些跟具體的設(shè)計出一個算法至少還有十萬八千里,只能說有了這個大體的思路,就可以從這兩個角度去審視手頭的問題,往往是會有啟發(fā)意義-的罷了。如何避免不必要的計算?也有很多 rules of thumb 可以遵循,如啟發(fā)式剪枝里面就要求去設(shè)計一個最優(yōu)下界,而最一般的思路則是使勁瞅瞅問題里面有什么條件是沒有利用的,這些條件組合起來可以得出什么性質(zhì),也許某-個性質(zhì)就能夠被利用來減掉一大堆計算,至于如何從題目條件推出有價值的性質(zhì),有兩個辦法,一是試錯(想到的結(jié)論都給寫出來,陶哲軒在 Solving Mathematical Problems 里面就提到過這個辦法。);另一個方向則是腦袋里揣著想要實現(xiàn)的目的往反方向歸約。如何緩存重復(fù)計算?簡單的動態(tài)規(guī)劃問題如fibonacci數(shù)列計算,其重復(fù)-計算是非常明顯的,計算的過程本身就指明了哪些計算是重復(fù)的(An 項的計算是重復(fù)的)——當(dāng)然,正如早前鄧同學(xué)發(fā)的一個題目https://groups.google.com/group/pongba/browse_frm/thread/2ca1f2bda0c8…里面說的,其實fibonacci數(shù)列計算里面的線性變換本身也是有重復(fù)計算的——后者便是更隱蔽的重復(fù)計算了,一個 non-trivial 的動態(tài)規(guī)劃問題往往涉及到非常隱蔽的重復(fù)計算,或者更難的是,你遍歷組合空間的方式?jīng)Q定了你所能夠緩存的重復(fù)計算到底有多少,也許某個遍歷方式之下就沒有辦法去-緩存計算。當(dāng)然,算法的范疇其實是很大的,算法是一個AI-Complete 的問題,所有的 Problem-Solving 過程都可以叫做算法。只是有很多實際當(dāng)中的算法會掉入以上兩類而已。
第二個問題我舉一個例子:不像很多牛人在高中和本科就競賽獎牌一堆,我直到大四的時候還不知道什么是動態(tài)規(guī)劃,因為本科四年我一直只對底層技術(shù)感興趣,最喜歡看 比如 Petzold 的《編碼的奧秘》和 Richter 的《.NET 框架程序設(shè)計》(事實上這是我看的第一本英文原版書)這類書。研一的時候由于方向是自然語言處理,看的第一篇 paper 是 Rabiner 的 A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition。Paper 的內(nèi)容倒是完全能夠理解,但是理解其實只是第一步,我發(fā)現(xiàn)理解了之后很快就忘掉了,這就說明理解得不夠深刻。比如里面的 Viterbi 算法,花了時間去理解,但是一轉(zhuǎn)頭很快又忘掉了。一年后因為機(jī)緣巧合,對算法發(fā)生了一段短暫的興趣,并學(xué)習(xí)了一些基礎(chǔ)的算法,尤其是算法的思想,因為思想是有窮-的,但算法是無窮的,尤其是題目是做不完的。之后一段時間,碰巧又需要翻一翻馬可夫模型,搜出吳軍的數(shù)學(xué)之美以及那篇 Paper ,發(fā)現(xiàn) Viterbi 算法其實就是最簡單的一類動態(tài)規(guī)劃,由于對于動態(tài)規(guī)劃的理解深刻了很多,所以對于 Viterbi 算法,在腦袋里面記住的不再是什么 Forward Variable/Backward Variable 之類的技術(shù)細(xì)節(jié),而是它的本質(zhì),于是便不再容易忘掉,而即便忘掉,就如龐加萊所說,也可以非常迅速的將算法的細(xì)節(jié)自行構(gòu)建出來。
其實我相信這樣的例子是數(shù)不勝數(shù)的,所以我這個只是算一個 Yet Another Example ,由于對我來說比較特殊,所以印象較為深刻。
這個例子是關(guān)于”理解”的。有時候算法也會非常有用,如有一次寫程序時需要用到 LCS 和 Edit-Distance (這樣的機(jī)會很少,但遇到了時如果不知道有多項式復(fù)雜度的算法就很悲慘了),而做機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的更是少不了一坨坨的算法,如果光是理解別人的做法然后實現(xiàn)-出來,那么對算法的思想的把握有助于理解和記憶;如果需要自己設(shè)計算法,那就需要算法基礎(chǔ)知識的輔助才行了。絕大多數(shù)人應(yīng)該屬于前者。
學(xué)習(xí)到什么程度?我覺得視人群而定。如果做底層開發(fā)、應(yīng)用開發(fā)、系統(tǒng)開發(fā),只要知道一個大概就可以了,知道經(jīng)典的數(shù)據(jù)結(jié)構(gòu)和算法沒有任何困難,而且反正經(jīng)典算法-都有現(xiàn)成的庫可用。對于有興趣做一點 research 沾邊的事情的人,則需要了解這些算法背后的一般性思路是什么,否則來一個特定的算法你就特定的理解記憶一下,肯定不牢靠,而且浪費(fèi)大腦資源。對于搞 real deal 的 original research 的那就需要廣泛的知識積累了,光知道一般性思路都不夠。
另一方面,我覺得學(xué)完了經(jīng)典算法,深刻理解了算法背后的一般性思路之后,如果再進(jìn)一步去玩題目,做題庫。效益卻不是很大的,因為刀磨了是要用的,玩題目做題庫就-是進(jìn)一步磨刀而不用(不去解決實際問題,能夠產(chǎn)生影響力的,或生產(chǎn)力的問題)。實際上做了一些題目之后就完全沒必要進(jìn)一步做題目了,因為做來做去,拼的基本也就-是誰的知識積累多(套路多),誰的耐心大(肯使勁去磨一道題目);實際上誰也不比誰笨,到最后區(qū)別就基本上顯露在知識積累和耐心上了。所以接著做,刀也不會磨得-更鋒利,更何況大好的時光應(yīng)該去做點有意義的事情(如果是為了 fun 而做題的,那么有意義的事情同樣也可以是 extremely fun),比如我覺得最吸引人也最根本的問題就是人工智能問題(想想看,人腦是世界上迄今為止所知最為復(fù)雜的結(jié)構(gòu),這個結(jié)構(gòu)具備了認(rèn)識自然界”規(guī)律”的能力,具-備了認(rèn)識”自我”的能力,具備了歸納和演繹推理的能力,類比的能力,具備了難以置信的啟發(fā)式搜索能力,具備完美的模式識別能力,而根據(jù)進(jìn)化論的觀點,這樣的結(jié)構(gòu)-居然僅僅是通過變異——篩選得來的,如果真有上帝,那么利用上帝賦予我們的大腦去破解上帝這個頂級牛逼程序員寫的程序——人腦的秘密,還有比這更帶勁兒的事情嗎-?),所以我覺得有那么好的基礎(chǔ)的牛人,不去直面真正 fundamental 的 problems ,就可惜了,須知題目是永遠(yuǎn)做不完的,一個公理系統(tǒng)的定理也是永遠(yuǎn)推導(dǎo)不完的,永遠(yuǎn)可以設(shè)計出題目來給你做,但是真正的問題其實只有一個。如果窮舉不了世界上所-有的問題,至少可以舉出那些有趣、有意義的問題。
劉未鵬(pongba)
Blog|C++的羅浮宮
http://blog.csdn.net/pongba
總結(jié)
以上是生活随笔為你收集整理的什么是算法,为什么需要学算法,以及算法学到什么程度的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 写给内向的人
- 下一篇: 一个IT人士的个人经历,给迷失方向的朋友