在十年前，聲學前端（音頻前處理）還主要是基于傳統信號處理的方法，在很長的一段時間里，研究者們建立了一整套涵蓋單通道和多通道的語音增強、語音分離、回聲消除、聲源定位、波束形成等技術，這些技術許多都是基于最優線性自適應濾波理論的。最近幾年里，深度學習方法被引入到音頻前處理領域，并在多個任務中（比如語音分離和增強）性能超越傳統信號處理方法，展現了極大的潛力。不過到目前為止，我們看到兩種方法各有千秋。他們的主要區別有以下幾點：

哲學思想上的區別。傳統信號處理方法主要基于還原論（Reductionism），把問題分割成一個個的子問題，并對子問題在設定的假設下進行一步步的細化，推導出解。每一步的分割、假設和推導都有跡可循。深度學習方法更像是中國傳統的整體論（Holism）哲學思想，關注的是端到端的性能，對中間結果往往不觀注，而且中間狀態常常沒法解釋。

原理上的區別。傳統信號處理方法大多是基于物理和數學原理推導的，而這些原理是基于人類幾千年的認知發展而來，是人類智慧歸納演繹的結晶。這些原理放之四海而皆準，所以系統一般有比較好的魯棒性。深度學習方法更多的是機器在特定訓練集上基于iid假設針對某一個目標（比如降噪）而做的優化，性能的決定因素來自于訓練集大小、訓練集的代表性、使用的模型、訓練過程和準則等，性能的變化范圍較大，系統在新環境下魯棒性較差。

信息使用上的區別。傳統信號處理方法主要使用當前信號，其他人類基于研究觀察總結出的原理直接集成在算法中了。深度學習方法除了使用當前信號之外，還能（或還需要）充分使用采集到的（距離當前信號可能很久或很遠的）訓練集里的信息，事實上，深度學習方法的性能很大程度上取決于是否能有效利用訓練集。尤其重要的是，深度學習方法可以非常容易地引入其他信息（比如視覺信息）并進行有效融合，這一點傳統信號處理方法雖然也能做到，但是會困難很多，比如需要對信息源做獨立假設，比如較難做有效的early fusion。

假設上的區別。傳統信號處理方法為了簡化計算或獲得解析解做了很多假設和簡化，比如有限階線性系統（濾波）假設、語音和噪聲的復數域高斯分布假設、頻帶獨立假設等等。而深度學習方法往往沒有或不需要這些假設。事實上，深度學習方法的一個核心特定就是模型是復雜非線性的。不依賴這些假設和簡化使得深度學習方法獲得的模型能夠更加符合復雜的現實場景，在有大量訓練數據和較好模型設計的前提下有望取得更好的性能。

使用環境和性能的區別。一般來說傳統信號處理方法效果好的前提是所作的假設在使用場景下成立，并且濾波中使用到的統計量能夠準確的估計。但是這兩條在真實場景下往往不成立或很難做到，比如很難找到一個算法能夠非常好的在各種場景下自適應估算語音和噪聲的協方差（絕大多數算法都需要用到這兩個統計量）。深度學習方法由于不需要這些假設，所以在訓練數據充足的前提下有望在真實場景下獲得比傳統方法好得多的性能，這一點我們在語音降噪和分離（尤其在雞尾酒會場景下）任務上已經見過很多報道。但是深度學習方法由于缺乏有效約束在訓練數據不足的情形下魯棒性往往比較差，最常見的表現就是在一個場景下表現優越的系統在另一個場景下可能很差。另外，深度學習方法的性能和優化指標很有關系，比如，以信噪比為主要優化指標的深度學習系統可能造成很大的信號失真，這些失真可能對語音識別不利。最后，目前來看，要取得較好的性能，基于深度學習的方法往往模型較大、計算資源要求較多，這些會限制系統在計算資源或能耗極端有限的系統中的使用。

兩種方法都有各自提升的空間。比如騰訊AI LAB最近分析了傳統信號處理方法做的假設和簡化，提出了一系列改進的方案，相對于原有信號處理方法能夠更好提升降噪和去混響的性能；我們也提出了一些結合傳統信號處理方法和深度學習方法的優化方案，結合兩者的長處，克服各自的短處，也取得了有意義的進展；我們還在結合多模態的語音分離/降噪技術中提出了一系列的新方法。

在即將到來的 CHIME 2020 （https://chimechallenge.github.io/chime2020-workshop/ ）workshop上， 我們會介紹其中的一些進展。相關的論文如下：

有關語音分離/增強以及訓練準則：

? Yong Xu, Meng Yu, Shi-Xiong Zhang, Lianwu Chen, Chao Weng, Dong Yu, “Neural Spatio-Temporal Filtering for Target Speech Separation”, submitted to Interspeech 2020

? Rongzhi Gu, Shi-Xiong Zhang, Lianwu Chen, Yong Xu, Meng Yu, Dan Su, Yuexian Zou, Dong Yu, "Enhancing End-To-End Multi-Channel Speech Separation via Spatial Feature Learning", ICASSP 2020

? Yong Xu, Chao Weng, Like Hui, Jianming Liu, Meng Yu, Dan Su, Dong Yu, "Joint Training of Complex Ratio Mask Based Beamformer And Acoustic Model for Noise Robust ASR", ICASSP 2019

? Rongzhi Gu, Jian Wu, Shi-Xiong Zhang, Lianwu Chen, Yong Xu, Meng Yu, Dan Su, Yuexian Zou, and Dong Yu. "End-to-end multi-channel speech separation." arXiv preprint arXiv:1905.06286 (2019).

有關基于多模態的 Diarization和語音分離/提取/識別

? Rongzhi Gu, Shixiong Zhang, Yong Xu, Lianwu Chen, Yuexian Zou, Dong Yu, “Multi-modal Multi-channel Target Speech Separation”, IEEE Journal of Selected Topics in Signal Processing, 2020.

? Ke Tan, Yong Xu, Shixiong Zhang, Meng Yu, Dong Yu, “Audio-Visual Speech Separation and Dereverberation with a Two-Stage Multimodal Network”, IEEE Journal of Selected Topics in Signal Processing, 2020

? Jianwei Yu, Shixiong Zhang, Jian Wu, Shahram Ghorbani, Bo Wu, Shiyin Kang, Shansong Liu, Xunying Liu, Helen Meng, Dong Yu, "Audio-Visual Recognition of Overlapped Speech for the LRS2 Dataset", ICASSP 2020

? Yifan Ding, Yong Xu, Shi-Xiong Zhang, Yahuan Cong, and Liqiang Wang "Self-supervised learning for audio-visual speaker diarization." ICASSP 2020.

? Jian Wu, Yong Xu, Shi-Xiong Zhang, Lianwu Chen, Meng Yu, Lei Xie, Dong Yu, "Time Domain Audio Visual Speech Separation", ASRU 2019

有關盲分離和只基于音頻的目標語音提取

? Meng Yu, Xuan Ji, Bo Wu, Dan Su, Dong Yu, “End-to-End Multi-Look Keyword Spotting”, submitted to Interspeech 2020

? Xuan Ji, Meng Yu, Jie Chen, Jimeng Zheng, Dan Su, Dong Yu, "Integration of Multi-Look Beamformers for Multi-Channel Keyword Spotting", ICASSP 2020

? Max W. Y. Lam, Jun Wang, Dan Su, Dong Yu, "Mixup-Breakdown: A Consistency Training Method for Improving Generalization of Speech Separation Models", ICASSP 2020.

? Xuan Ji, Meng Yu, Chunlei Zhang, Dan Su, Tao Yu, Xiaoyu Liu, Dong Yu, "Speaker-Aware Target Speaker Enhancement by Jointly Learning with Speaker Embedding Extraction", ICASSP 2020.

? Aswin Shanmugam Subramanian, Chao Weng, Meng Yu, Shi-Xiong Zhang, Yong Xu, Shinji Watanabe, Dong Yu, "Far-Field Location Guided Target Speech Extraction Using End-To-End Speech Recognition Objectives", ICASSP 2020

? Fahimeh Bahmaninezhad, Shi-Xiong Zhang, Yong Xu, Meng Yu, John HL Hansen, and Dong Yu. "A Unified Framework for Speech Separation." in submission to Speech Communications (2019).

? Rongzhi Gu, Lianwu Chen, Shixiong Zhang, Jimeng Zheng, Meng Yu, Yong Xu, Dan Su, Yuexian Zou and Dong Yu, “Neural Spatial Filter: Target Speaker Speech Separation Assisted with Directional Information”, Interspeech 2019

? Fahimeh Bahmaninezhad, Jian Wu, Rongzhi Gu, Shi-Xiong Zhang, Yong Xu, Meng Yu and Dong Yu, “A comprehensive study of speech separation: spectrogram vs waveform separation”, Interspeech 2019

? Meng Yu, Xuan Ji, Yi Gao, Lianwu Chen, Jie Chen, Jimeng Zheng, Dan Su, Dong Yu, "Text-Dependent Speech Enhancement for Small-Footprint Robust Keyword Detection", Interspeech 2018.

? Jun Wang, Jie Chen, Dan Su, Lianwu Chen, Meng Yu, Yanmin Qian, Dong Yu, "Deep Extractor Network for Target Speaker Recovery From Single Channel Speech Mixtures", Interspeech 2018

總結

以上是生活随笔為你收集整理的统计信号处理_声学前端：深度学习算法和传统信号处理方法各有千秋的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。