論文地址：使用感知動機目標和損失的低延遲語音增強

引用格式：Zhang X, Ren X, Zheng X, et al. Low-Delay Speech Enhancement Using Perceptually Motivated Target and Loss[J]. Proc. Interspeech 2021, 2021: 2826-2830.

摘要

　　基于深度神經網絡的語音增強方法優于傳統的信號處理方法。我們提出了一種利用新的感知激勵訓練目標和損失函數的低延遲語音增強方法。該方法可以獲得與現有方法相似的語音增強性能，但顯著降低了延遲和計算復雜度。通過INTERSPEECH 2021深度噪聲抑制挑戰組織者進行的MOS測試，該方法在背景噪聲MOS中排名第二，在整體MOS中排名第六。

關鍵詞：語音增強、時頻掩蔽、深度神經網絡、單通道

1? 引言

　　單通道語音增強的目的是將純凈語音從帶噪語音中分離出來。傳統的基于信號處理的方法旨在對噪聲頻譜建模以執行譜減法[1]或維納濾波[2]。近年來，基于深度神經網絡(DNNs)的方法性能優于傳統方法。這些方法通常以有監督的方式進行訓練，可以分為時域方法和時頻域方法。文獻[3]、[4]中提出的時域方法直接輸入帶噪語音波形來估計純凈語音。雖然時域方法可以實現端到端處理，但折衷是放棄了語音和噪聲信號在時頻域中的稀疏性，如[5]中所述。文獻[6]、[7]和[8]、[9]中提出的時頻域方法分別采用DNN對純凈語音的幅值和復譜進行建模。雖然將訓練目標設置為復數譜可以達到比幅度譜更高的預測上界，但也帶來了復雜度的增加，這可能不適合實際的實時應用。此外，在去年的DNS挑戰賽[10]中，使用這兩個訓練目標的方法可以達到相對的感知質量[11]。本文以感知最優幅度譜為訓練目標，在時頻域內對低時延、低復雜度的單通道語音增強進行了研究。

　　本文提出了一種預處理方法，以產生感知上最優的幅度譜作為訓練目標。當純凈語音的幅譜與輸入有噪信號的相位相結合時，目標語音信號的上界下降，特別是在低信噪比(SNR)條件下。這是因為對于低信噪比的時頻瞬時，噪聲相位與理想語音相位有很大的不同。在應用所提出的預處理方法之前，研究了常用的理想掩模產生的訓練目標的上界。類似的研究可以在文獻[12]中找到，其中比較了不同理想掩模產生的訓練目標的信噪比(SAR)，本文直接比較了經典維納掩模[14]、理想比掩模(IRM)[15]和理想幅度掩模(IAM)[12]得到的訓練目標的PESQ[13]。研究發現，IAM在不同的信噪比條件下都能獲得最高的PESQ得分。使用所提出的預處理方法進一步壓縮IAM。在信噪比為-10dB~25dB的情況下，對于可達到的訓練目標，所提出的預處理方案可以獲得平均0.11PESQ的改善。具體地說，對于5dB到15dB的條件，PESQ改善在0.15以上。

　　在預處理方案的基礎上，提出了一種新的損失函數，將壓縮后的IAM與幅度譜損失計算相結合。所提出的損失函數引入IAM加權因子來均衡對數壓縮幅度的重要性。其目的是在低振幅和高振幅的時頻瞬間之間提供更好的平衡。

　　使用PESQ[13]和STOI[16]對所提出的方法進行了評估。如第6節所示，與不使用預處理的相同配置相比，所提出的預處理方案可以獲得0.04 PESQ和0.11 STOI的改善。在損失函數中提出的IAM加權因子可以達到0.13的PESQ和0.02的STOI改善。當預處理和損失函數一起使用時，與現有方法相比，該方法可以獲得與現有方法相似的PESQ性能，并且具有更小的系統延遲和復雜度。

　　所提出的方法還進入了2021年DNS挑戰賽[17]。在480點FFT(對應于16 kHz輸入信號30ms)和160點幀移(對應于16 kHz輸入信號對應10ms)，系統總延遲為30ms+10ms=40ms，滿足本次挑戰的延遲要求。該模型具有3.393M個參數，756.868M個FLOP。在英特爾酷睿i7(2.6 GHz)CPU上的一幀推理時間為0.386毫秒。該方法在背景噪聲MOS方面排名第2位，在整體MOS方面排名第6位。

2? 信號模型

　　噪聲混響混合信號$y$在時域通過以下公式建模：

$$y(t)=h(t)*x(t)+n(t)$$

其中$x(t)$是語音信號，$h(t)$是從說話者到麥克風的傳遞函數，*表示卷積，$n(t)$是噪聲。該系統的目的是從$y(t)$估計$x(t)$，包括從捕獲的信號中去除噪聲和混響。

　　訓練過程的概述如圖1所示。先對帶噪語音和純凈語音進行短時傅立葉變換(STFT)，以獲得時頻域的幅值和相位信號。對純凈語音的幅值進行預處理，得到感知上最優的訓練目標。輸入噪聲信號的幅度譜饋送到基于DNN的編解碼器，以估計純凈語音的幅度譜。基于信號處理的后處理也被用來產生最終的幅值估計，將估計幅值與噪聲相位相結合，使用短時傅立葉逆變換(ISTFT)形成時域輸出。

圖1? 擬議系統的架構

3? 訓練目標

　　將純凈語音復數譜圖作為訓練目標，可以實現完美的重構，而僅預測純凈語音的幅度譜被廣泛應用于實時通信系統，以顯著降低其復雜度。在此工作中，我們直接比較了不同訓練目標在大信噪比范圍內的PESQ分數。此外，還提出了一種預處理方法，以進一步提高訓練目標的感知質量。

　　首先推導出三種常用掩模生成的訓練目標

$$公式2：x_{\text { }_{irm}} =i \operatorname{STFT}(|Y| \cdot \frac{|X|}{|\mathrm{X}|+|\mathrm{N}|} \cdot \angle(Y))$$

$$公式3：x_{\text { }_{\text {Wiener }}} =\operatorname{iSTFT}(|Y| \cdot \frac{X^{2}}{X^{2}+N^{2}} \cdot \angle(Y))$$

$$公式4：x_{\text { }_{iam}} =\operatorname{iSTFT}(|Y| * \frac{|X|}{|Y|} * \angle(Y))$$

其中$|·|$和$\angle (·)$表示復數譜的幅值和相位計算。

　　使用VCTK語音數據集[19]和穩定噪聲，包括while、pink、babble、street等，針對信噪比(-10 ~ 25dB)和理想掩碼條件生成2000個訓練目標。PESQ結果如圖2所示，其中錯誤條表示95%置信區間。如圖所示，與IRM(藍色)和Wiener-like mask(灰色)相比，IAM(綠色)獲得了最高的PESQ分數。

圖2：不同訓練目標之間的比較

　　此外，提出了一種掩碼壓縮方案，將IAM從標準設置中壓縮出來，以顯著提高IAM 訓練目標的感知質量

$$公式5：x_{\text { }_{\text {iam- } \gamma}}=\operatorname{iSTFT}\left(|Y| *\left(\frac{|X|}{|Y|}\right)^{\mid Y} * \angle(Y)\right)$$

其中，$\gamma?$表示壓縮比，$\gamma=1$是IAM的標準設置。$\gamma?$從0.2到1.4的不同選擇下的實驗結果如圖3所示。

圖3：不同壓縮比的比較($\gamma?$)

　　如圖 3 所示，為每個$\gamma $選項生成了 2000 個使用(5)的 訓練目標，以與使用 PESQ 的純凈參考進行比較。 誤差條表示 95% 的置信區間。 與 ($\gamma $= 1.0) IAM 訓練目標相比，$\gamma $= 0.8 實現了 0.116(平均)和超過 0.15(對于 5dB、10dB、15dB 和 20dB SNR 條件)的 PESQ 改進。

4? DNN模型

?　　如圖 1 所示，這項工作中的 DNN 模型基于卷積循環網絡 (CRN) [20]，該網絡將循環神經網絡 (RNN) 模塊嵌套在基于卷積神經網絡 (CNN) 的編碼器-解碼器結構中。在采用 480 點STFT(16kHz 輸入為 30ms)和 160 點幀移(16kHz 輸入為 10ms)后，STFT 域幅度表示$Y\in R^{F*T}$(F= 241，T= 2 幀)輸入信號$L_c\in N(L_c=2)$輸入卷積編碼器以對時頻域局部互連進行建模。最后一個卷積編碼器層 [batch, frame, frequency, channel] 的特征圖在頻率軸上reshape，以形成$L_r\in N(L_r=2)$個循環層 [batch, frame, frequency channel] 的順序表示。循環層的輸出被reshape回 3 維張量，以形成$L_d\in N(L_d=2)$卷積解碼器的輸入。最終的輸出張量是通過具有 sigmoid 激活函數的前饋層使用最后一個卷積解碼器層的輸出產生的。

　　詳細地說，對于每個卷積層，采用了ReLU激活函數和批量歸一化。在卷積層的末端還采用了Dropout機制，以進一步防止過擬合。dropout參數設置為0.3。在卷積層之后，輸出是一個張量$L\in R^{M*F'*T'}$，其中$M$是最后一個編碼器層的輸出特征映射的數量，$F'$和$T'$是剩余的頻率和時間索引的數量。該遞歸網絡由門遞歸單元(GRU)實現，以模擬輸入信號的序列性質。將輸出特征映射疊加到頻率軸上后，GRU的輸入是一個張量$H\in R^{(M·F')*T'}$。循環層的輸出被重塑回$\tau \in R^{(M·F'')*T''}$，以形成卷積解碼器的輸入。超參數的詳細信息如表1所示。

表1??卷積循環神經網絡的設計

　　針對低信噪比和幅值時頻區域，設計了一種新的IAM加權損失。對于每個時頻瞬間，損失可以用：

$$L o s s=W_{I A M} *\left|\ln \left(X_{m a g}^{\prime}+1\right)-\ln \left(X_{m a g}+1\right)\right|$$

其中：

$$公式7：W_{I A M}=e^{\left(\frac{a}{b+I A M}\right)}$$

$$公式8：I A M=Y_{\text {mag }} *\left(\frac{X_{\text {mag }}}{Y_{\text {mag }}}\right)^{\gamma} * \angle(Y)$$

　　在此工作中，$\gamma?$被設置為1，$a$被設置為2，$b$被設置為1。所提出的IAM權值旨在平衡語音占主導地位和噪聲占主導地位時頻實例的重要性，其中值越小的IAM在總損失中的權重越高。對數壓縮部分的目的是減少低幅值和高幅值時頻瞬間之間的水平差。如評價部分所述，利用所提出的損失可以提高噪聲抑制性能。其中$X'_{mag}$為預測純凈振幅譜，$X_{mag}$為目標振幅譜，A為噪聲振幅譜。$\angle (·)$表示復雜時頻譜的幅值和相位計算。

5? 后置濾波

　　為了進一步提高主觀質量，采用包絡后置過濾[18]對DNN估計的IAM ($IAM_{dnn}$)進行細化，得到最終的IAM ($IAM_{pf}$)：

$$公式9：I A M_{p f}=\frac{(1+\tau) \cdot I A M_{d n n}}{\left(1+\frac{\tau \cdot I A M_{d n n}}{I A M}\right)}$$

其中

$$公式10：I A M_{\sin }=I A M_{d n n} \cdot \sin \left(\frac{\pi \cdot I A M_{d n n}}{2}\right)$$

　　$t$被設置為0.02。最后估計的振幅(magnitude)是

$$公式11：X_{p f}^{\prime}=Y \cdot I A M_{p f}$$

6? 實驗和結果

6.1? 數據集

　　實驗的純凈語音數據集為DNS Challenge(INTERSPEECH 2021)純凈語音數據集，包含英語、中文、法語等多種語言。噪聲數據為DNS Challenge(INTERSPEECH 2021)噪聲集。 我們將訓練數據與從 {-5, 0, 5, 10, 15, 20, 25, 30} dB 中隨機選擇的 SNR 合成。 還包括沉默、純凈語音和純噪聲樣本。 為了進一步提高混響環境中的魯棒性，噪聲和目標信號與測量或模擬的房間脈沖響應進行卷積。 Varies EQ 濾波器也用于模擬各種麥克風的頻率響應曲線。 為避免去混響引起的語音失真，采用 75ms 早期反射的語音作為訓練目標。 音頻信號的采樣率為16kHz。

6.2? 結果

　　首先，為了評估所提出的預處理方法和損失函數，將不同配置的模型進行如下比較。

• NoPP_MALE：未進行預處理的模型，具有平均絕對對數誤差(MALE)損失函數。
• PP_MALE：帶有預處理和MALE loss函數的模型。
• NoPP_WO-MALE：無預處理，且具有IAM加權優化MALE (WO-MALE)損失函數。
• PP_WO-MALE：模型預處理和WOMALE損失函數。

　　所有模型都用 500 小時的數據進行訓練，并且還對 PP_WO-MALE 模型用 2000 小時的數據進行訓練，以形成提交給 DNS 挑戰賽 (INTERSPEECH 2021) 的模型。 短期客觀清晰度(STOI)和語音質量感知評估(PESQ)被用作評估指標。 表 2 展示了 DNS Challenge (INTERSPEECH 2020) 綜合測試集的結果。

表2：在INTERSPEECH DNS挑戰綜合測試集上得到PESQ和STOI結果

　　從表 2 可以看出，帶有預處理的模型比沒有預處理的模型可以獲得更高的 PESQ 和 STOI 分數。 應該注意的是，PESQ 的改進小于第 3 節中討論的 目標語音。這主要是由兩個原因造成的。 首先，網絡可能無法充分利用有預處理和沒有預處理的 目標之間的差異。 其次，合成測試集的 SNR 分布與第 3 節中進行的實驗不同。 還可以觀察到，WO-MALE 模型可以實現比 MALE 條件更高的 PESQ 和 STOI 分數。 最后，所提出的 PP_WO-MALE 模型獲得了最高的 PESQ 和 STOI 分數。 用 2000 小時數據集訓練的 PP_WOMALE 進一步提高了 PESQ 和 STOI 分數。

　　圖 4 中語譜圖對比，其中純凈語音是在句子開頭存在背景競爭說話者并且背景噪聲恒定的情況下。 如圖所示，提出的 PP_WO-MALE 可以在去除非目標說話人聲音的同時抑制更穩定的背景噪聲。

圖4：語譜圖結果對比

　　將此 2000 小時 PP_WO-MALE 模型與最先進的方法進行比較，包括使用相同測試集的去年 INTERSPEECH DNS 挑戰賽中排名靠前的方法。 NSNet [10] 是 INTERSPEECH DNS 2020 Challenge 的官方基線方法。 DTLN [21] 是一種具有單幀輸入、單幀輸出方式的低復雜度模型，而 DCCRN [22] 是 INTERSPEECH DNS 2020 挑戰賽主觀聽力測試中排名最高的方法。 FullSubNet [23] 是 ICASSP DNS 2021 挑戰賽的頂級方法。

　　如表 3 中所列，與具有相同(40 毫秒)延遲的方法相比，所提出的方法可以實現 0.20 以上的 PESQ 改進。 并且比較 DCCRN 和 FullSubNet 都具有大約 50% 的延遲和更大的模型尺寸，所提出的低延遲和低復雜度方法仍然實現了具有競爭力的 PESQ 性能。

表3：DNS挑戰(INTERSPEECH 2020)綜合測試數據集上的PESQ和STOI結果

?　　DNS挑戰賽(INTERSPEECH2021)主辦方提供了官方主觀評價結果，如表4和表5所示。最后總結了P.808實時深噪聲抑制軌道主觀評價結果。表4(背景噪聲MOS)和V(總體MOS)的縮寫列出如下:靜止(Sta)，情緒語言(Emo)，非英語音調(NET)，非英語(NE)，音樂樂器(Mus)，英語(Eng)，總體(Ovr)。雖然顯著優于基線系統，但所提出的方法在背景噪聲MOS結果中排名第二，在Overall MOS結果中排名第六(微軟的排名在比賽中被忽略)。

表4??DNS挑戰(INTERSPEECH2021)背景噪聲MOS

表5??DNS挑戰(INTERSPEECH2021)整體MOS

7? 復雜度

　　采用480點FFT(對應16kHz輸入信號30ms)和160點步幅(對應16kHz輸入信號10ms)，總系統延遲為30ms + 10ms = 40ms，滿足本次挑戰的時延要求。 所提出的模型有 3.393M 參數，756.868M FLOPs。 Intel Core i7 (2.6GHz) CPU 上的一幀推理時間為 0.386ms。

8? 結論

　　在這項研究中，提出了一種低延遲低復雜度的語音增強系統。 我們證明了帶有預處理和新設計的 WO_MALE 損失函數的模型可以達到最佳性能。 我們還將性能與 DNS2020 中的一些最先進的方法進行了比較，所提出的系統以更少的系統延遲和復雜性實現了類似的 PESQ 性能。 在挑戰組織者提供的 DNS 挑戰賽(INTERSPEECH 2021)結果中，所提出的系統在背景噪聲 MOS 成績中獲得第 2 名，在總體 MOS 成績中獲得第 6 名(本次比賽忽略了微軟的排名)。

參考文獻

[1] S. Boll, Suppression of acoustic noise in speech using spectral subtraction, IEEE Trans. Acoust. Speech Signal Process. , vol. 27, no. 2, pp. 113 120, Apr. 1979.

[2] N. Madhu, A. Spriet, S. Jansen, R. Koning, and J. Wouters, The Potential for Speech Intelligibility Improvement Using the Ideal Binary Mask and the Ideal Wiener Filter in Single Channel Noise Reduction Systems: Application to Auditory Prostheses, IEEE Trans. Audio Speech Lang. Process. , vol. 21, no. 1, pp. 63 72, Jan.

[3] Y. Luo and N. Mesgarani, Conv-TasNet: Surpassing Ideal Time Frequency Magnitude Masking for Speech Separation, IEEEACM Trans. Audio Speech Lang. Process. , vol. 27, no. 8, pp. 1256 1266, Aug. 2019

[4] R. Giri, U. Isik, and A. Krishnaswamy, Attention Wave-U-Net for Speech Enhancement, in 2019 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), Oct. 2019, pp. 249 253

[5] O. Yilmaz and S. Rickard, Blind separation of speech mixtures via time-frequency masking, IEEE Trans. Signal Process. , vol. 52, no. 7, pp. 1830 1847, Jul. 2004

[6] Y. Wang, A. Narayanan, and D. Wang, On Training Targets for Supervised Speech Separation, IEEEACM Trans. Audio Speech Lang. Process. , vol. 22, no. 12, pp. 1849 1858, Dec. 2014

[7] T. Grzywalski and S. Drgas, Using Recurrences in Time and Frequency within U-net Architecture for Speech Enhancement, in ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), May 2019, pp. 6970 6974.

[8] D. S. Williamson and D. Wang, Time-Frequency Masking in the Complex Domain for Speech Dereverberation and Denoising, IEEEACM Trans. Audio Speech Lang. Process. , vol. 25, no. 7, pp. 1492 1501, Jul. 2017,

[9] D. Yin, C. Luo, Z. Xiong, and W. Zeng, PHASEN: A Phaseand- Harmonics-Aware Speech Enhancement Network, presented at the AAAI, Nov. 2019.

[10] C. K. A. Reddy et al., The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Testing Framework, and Challenge Results, ArXiv200513981 Cs Eess, Oct. 2020, Accessed: Apr. 03, 2021.

[11] Deep Noise Suppression Challenge - INTERSPEECH 2020 - Microsoft Research. https://www.microsoft.com/enus/ research/academic-program/deep-noise-suppressionchallenge- interspeech-2020/#! results (accessed Mar. 26, 2021).

[12] H. Erdogan, J. R. Hershey, S. Watanabe, and J. L. Roux, Phasesensitive and recognition-boosted speech separation using deep recurrent neural networks, in 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Apr. 2015, pp. 708 712

[13] ITU, P.862: Perceptual evaluation of speech quality (PESQ): An objective method for end-to-end speech quality assessment of narrow-band telephone networks and speech codecs. 2001.

[14] M. Parviainen, P. Pertil?, T. Virtanen, and P. Grosche, Time- Frequency Masking Strategies for Single-Channel Low-Latency Speech Enhancement Using Neural Networks, in 2018 16th International Workshop on Acoustic Signal Enhancement (IWAENC), Sep. 2018, pp. 51 55

[15] A. Narayanan and D. Wang, Ideal ratio mask estimation using deep neural networks for robust speech recognition, in 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, May 2013, pp. 7092 7096

[16] C. H. Taal, R. C. Hendriks, R. Heusdens, and J. Jensen, An Algorithm for Intelligibility Prediction of Time Frequency Weighted Noisy Speech, IEEE Trans. Audio Speech Lang. Process. , vol. 19, no. 7, pp. 2125 2136, Sep. 2011

[17] C. K. A. Reddy et al., Interspeech 2021 Deep Noise Suppression Challenge. 2021.

[18] J.-M. Valin, U. Isik, N. Phansalkar, R. Giri, K. Helwani, and A. Krishnaswamy, A Perceptually-Motivated Approach for Low- Complexity, Real-Time Enhancement of Fullband Speech, in Proc. Interspeech 2020, 2020, pp. 2482 2486

[19] J. Yamagishi, C. Veaux, and K. MacDonald, CSTR VCTK Corpus: English Multi-speaker Corpus for CSTR Voice Cloning Toolkit (version 0.92), Nov. 2019,

[20] K. Tan and D. Wang, A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement, in Proc. Interspeech 2018, 2018, pp. 3229 3233

[21] N. L. Westhausen and B. T. Meyer, Dual-Signal Transformation LSTM Network for Real-Time Noise Suppression, in Proc. Interspeech 2020, 2020?

[22] Y. Hu et al., DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement, in Proc. Interspeech 2020, 2020

[23] X. Hao, X. Su, R. Horaud, and X. Li, FullSubNet: A Full-Band and Sub-Band Fusion Model for Real-Time Single-Channel Speech Enhancement, in Proc. ICASSP 2021, 2021

總結

以上是生活随笔為你收集整理的论文翻译：2021_Low-Delay Speech Enhancement Using Perceptually Motivated Target and Loss的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。