過(guò)去數(shù)十年來(lái)，信號(hào)處理領(lǐng)域中各種方法層出不窮。其中有很多方法沒(méi)有明確的物理背景或者意義，或者在非常特殊的情況下才有，完全只是某些數(shù)學(xué)的或者數(shù)據(jù)的折騰（英語(yǔ)叫manipulation）。或者有的物理意義也只是粗線(xiàn)條的，很明顯的等等。我認(rèn)為這些算法，除了可以試一下外，很難能說(shuō)出別的道道

?

舉個(gè)最簡(jiǎn)單的例子。在很多情況下，最大似然估計(jì)是最優(yōu)的。在通信里面，最大似然估計(jì)在很多情況下是等價(jià)于最小距離判決，即哪個(gè)最靠近，哪個(gè)最有可能，就選哪個(gè)。但是，這種判決法只有在信噪比不是特別低的時(shí)候，才有道理。如果信噪比特別低了，說(shuō)不定離得越遠(yuǎn)的越好呢。這個(gè)信噪比的界正是香農(nóng)極限。香農(nóng)極限說(shuō)了，如果信噪比低于這個(gè)界，信號(hào)就檢測(cè)不出來(lái)了，其實(shí)這時(shí)由于信噪比太低了，越接近的就不見(jiàn)得是越對(duì)的了。也就是說(shuō)，在這種應(yīng)用中，當(dāng)信噪比低到一定程度后，所謂最優(yōu)的最大似然估計(jì)法就毫無(wú)意義了。

?

過(guò)去十幾年（2006年后）中信號(hào)處理界里最熱的詞可能就是＂稀疏性＂了。當(dāng)然，稀疏性就是一種物理現(xiàn)象或者意義，但是我覺(jué)得只是粗線(xiàn)條的，從本質(zhì)上就是自動(dòng)假設(shè)的（英語(yǔ)叫Inherited）。所以人們?cè)谇笮盘?hào)的優(yōu)化過(guò)程中加上一個(gè)最小個(gè)數(shù)的限制。但是，信號(hào)個(gè)數(shù)這個(gè)度量（叫L0）在數(shù)學(xué)上不是一個(gè)范數(shù)，也就是說(shuō)，不能確定更“接近”的一定更好（有點(diǎn)類(lèi)似于上面的通信問(wèn)題中低信噪比的情況），數(shù)學(xué)家說(shuō)了，這時(shí)數(shù)學(xué)工具不好使。所以，人們就用了一個(gè)“最接近”L0的范數(shù)，“當(dāng)然”就是L1了。是范數(shù)了，就有距離的概念了，就可以說(shuō)近就是好。問(wèn)題是這個(gè)好與L0好是一回事么？用L1求出來(lái)的個(gè)數(shù)少是真的少么？

?

九十年代初的OMP法找信號(hào)是在信號(hào)庫(kù)中一個(gè)一個(gè)找。先把能量最大的找到，然后減掉，再找下面的。對(duì)這種方法來(lái)說(shuō)，信號(hào)庫(kù)非常重要。如果信號(hào)庫(kù)對(duì)了，還有啥方法可代替么？我認(rèn)為沒(méi)有。人們也許會(huì)問(wèn)，此法利用到稀疏性了么？當(dāng)然用到了，信號(hào)都是一個(gè)一個(gè)找了，還沒(méi)用到稀疏性么？信號(hào)的個(gè)數(shù)總不會(huì)比一還少吧！當(dāng)然，理論上可以多個(gè)多個(gè)一起找，但是這樣的復(fù)雜度會(huì)太高了。

?

這里有兩個(gè)問(wèn)題。其一是信號(hào)庫(kù)的問(wèn)題。怎么知道信號(hào)庫(kù)是對(duì)的？這個(gè)問(wèn)題跟現(xiàn)在的稀疏信號(hào)處理的問(wèn)題一樣。稀疏信號(hào)處理也有類(lèi)似的問(wèn)題，即信號(hào)在什么域里是稀疏的，這就等價(jià)于有了正確的信號(hào)庫(kù)。從這一點(diǎn)來(lái)說(shuō)，九十年代的OMP與現(xiàn)在的稀疏信號(hào)處理一樣。

?

第二個(gè)問(wèn)題也許是計(jì)算復(fù)雜度。其實(shí)現(xiàn)在的稀疏信號(hào)處理一般優(yōu)化算法的復(fù)雜度更高，為了降低計(jì)算復(fù)雜度，人們反而正是用OMP法來(lái)解。

?

從上面兩點(diǎn)可以看出，九十年代初的OMP法與現(xiàn)在的稀疏信號(hào)處理法基本上是等價(jià)的，現(xiàn)在的各種方法都只是OMP法的各種變形，這點(diǎn)并不奇怪，從九十年代到現(xiàn)在都20多年了，本來(lái)也該會(huì)有對(duì)OMP法的自然變異了，而并非是因?yàn)槭窍∈栊盘?hào)處理的推動(dòng)。盡管是這么說(shuō)，但是，由于稀疏性名字的出現(xiàn)，所以有更多的人被吸引過(guò)來(lái)做了。遺憾的是，現(xiàn)在在這個(gè)領(lǐng)域里的很多人都讓各種優(yōu)化給打雞血了，難道這些優(yōu)化算法能改進(jìn)OMP法么？

?

再回到稀疏性的度量L0，假如說(shuō)L0可以在數(shù)學(xué)上執(zhí)行。因?yàn)橄∈栊盘?hào)處理的問(wèn)題大多是不定的，即會(huì)有很多解。這時(shí)，稀疏性的限制就是說(shuō)個(gè)數(shù)越少的越好。我覺(jué)得這樣的思考都是在沒(méi)有考慮噪聲或者信噪比高的情況下的結(jié)論。哪如果信噪比不高呢？或者說(shuō)信噪比要高到什么程度？

?

我的估計(jì)是這樣的。在稀疏域中，噪聲還是滿(mǎn)域的且統(tǒng)計(jì)意義上是平的，叫噪聲地層（noise floor）。在噪聲地層上面大于XdB就可以被視為信號(hào)。這個(gè)X就是稀疏信號(hào)處理的界，類(lèi)似于上面講的香農(nóng)界。這個(gè)X是什么？0？還是1.6？

?

也許這一點(diǎn)與數(shù)字通信理論完全不一樣，因?yàn)樵谶@里，信號(hào)的數(shù)值是任意的，無(wú)窮的，而數(shù)字通信理論中的信號(hào)只是有限的固定的。在這里，信號(hào)是人為定的，所以，上面的界X就是X，只知道它一定大于0。

?

————

編輯?∑ Gemini

來(lái)源：夏香根科學(xué)網(wǎng)博客

微信公眾號(hào)“算法數(shù)學(xué)之美”，由算法與數(shù)學(xué)之美團(tuán)隊(duì)打造的另一個(gè)公眾號(hào)，歡迎大家掃碼關(guān)注！

更多精彩：

?如何向5歲小孩解釋什么是支持向量機(jī)（SVM）？

?自然底數(shù)e的意義是什么？

?費(fèi)馬大定理，集驚險(xiǎn)與武俠于一體

?簡(jiǎn)單的解釋，讓你秒懂“最優(yōu)化” 問(wèn)題

?一分鐘看懂一維空間到十維空間

??本科、碩士和博士到底有什么區(qū)別？

?小波變換通俗解釋

?微積分必背公式

?影響計(jì)算機(jī)算法世界的十位大師

?數(shù)據(jù)挖掘之七種常用的方法

算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿

稿件涉及數(shù)學(xué)、物理、算法、計(jì)算機(jī)、編程等相關(guān)領(lǐng)域，經(jīng)采用我們將奉上稿酬。

投稿郵箱：math_alg@163.com

總結(jié)

以上是生活随笔為你收集整理的再说说稀疏信号处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。