• 摘要

? ? 本次實驗我選取了玻璃破碎聲、汽車鳴笛聲和汽車引擎聲三類聲音，分別選取時域特征：短時能量、短時過零率，頻域特征：短時主頻點和mfcc特征，來對每類聲音進行分析，并分析其表達能力

• 實驗數據說明

? ?? 實驗數據從哈佛大學用于環境聲分類的ESC-50數據集中選取純凈的玻璃破碎聲、鳴笛聲和汽車引擎聲各10條，其中每條數據時長5秒，采樣率為44.1KHz，位深度16bit。

• 頻譜特征提取分析
• 短時主頻點特征分析

? ?? 聲音的短時主頻點指對一段聲音分幀后，然后再每一幀上做傅里葉變換求得頻率對應的功率值，并檢索每一幀上面功率最大的頻率點，將這個頻率點定義為主頻率。

? ? ? ? 這個實驗初衷是求取每幀信號的主頻帶范圍，但是經過上網查閱資料并沒有查到關于聲音信號的主頻帶的說法，在這里將這個問題拋出，希望得到大家的解答。下圖是從玻璃破碎聲信號中選取的兩幀信號的頻譜。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖1 短時頻譜

• 玻璃破碎聲主頻點

? ? ? ? 使用matlab編程，求取聲音信號各幀的主頻點，然后繪制與主頻相關的兩個圖。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖2 玻璃破碎聲各幀主頻散點圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖3 玻璃破碎聲主頻點功率譜圖

? ? ?? 分析上面兩個圖，其主頻點雜亂無章，分布在10KHz之內，并沒有找到明顯的特點。此外還發現零頻處功率值極高，在聲音信號中零頻代表著什么？

? ? ? ? 上面特征圖示的僅僅是一個玻璃破碎聲樣本的主頻特征，為了分析不同玻璃破碎聲樣本之間的區別和聯系，我選取十個玻璃破碎聲樣本，將上面兩種圖制作成動態圖，觀察不同樣本的區別和聯系。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖4 玻璃破碎聲各幀豬頻譜動態圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖5 玻璃破碎聲主頻點功率譜動態圖

?根據上面兩個圖綜合分析，玻璃破碎聲主頻分布在0-15 KHz，除此之外，該特征對此類聲音并沒有明顯的表達能力。

• 汽車鳴笛聲主頻點

流程同上，繪制汽車鳴笛聲單個樣本的兩種圖，如下圖所示

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖6 汽車鳴笛聲各幀主頻散點圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖7 汽車鳴笛聲主頻點功率譜圖 ? ? ? ?

? ? 綜合上面兩個圖分析，該汽車鳴笛聲樣本的主頻集中在818.3Hz頻率處。

? ? 做動態圖分析不同汽車鳴笛聲樣本之間的區別和聯系，如下圖所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖8 汽車鳴笛聲各幀主頻動態圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖9 汽車鳴笛聲主頻點功率譜動態圖

?? 通過動態圖可以看出，汽車鳴笛聲的主頻比較集中，且集中在低頻處，但是有幾個樣本的主頻集中在零頻處，還不明白原因。

• 汽車引擎聲主頻點

? ? ? ?? 同上首先分析一個樣本的主頻特征，繪制實驗結果數據如下圖所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖10 各幀主頻散點圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖11 主頻點功率譜圖

? ? ? ? 通過上面兩個圖可以分析出，針對這一個樣本來說，其信號的主頻譜集中在零頻處。

? ? ? ? 通過觀察不同汽車引擎聲的主頻圖，分析其主頻特性，其主頻圖如下圖所示 ? ?

? ??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖12 汽車引擎聲各幀主頻動態圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖13 汽車引擎聲主頻點功率譜圖 ??

? ? ? 通過上面兩個動態圖分析，汽車引擎聲的主頻點集中在零頻處。為了驗證實驗結果的正確性，我們隨機抽取一幀，觀察其頻譜圖。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖14 汽車引擎聲某一幀的頻譜圖 ?

? ? ? ? ??從上圖可以看出，汽車引擎聲只有在零頻處有信號。

• 特征可視化

? ? ? 對每個樣本的主頻點特征求均值和標準差并保存成csv文件，利用python對數據進行分析，比較該特征對三種聲音的分類能力。

• 單特征可視化

? ?? 利用python語言來實現特征的分析，使用seaborn繪圖庫，繪制violin圖。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖15 主頻點均值對比圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖16 主頻點加權平均值對比圖

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖17 主頻點方差對比圖

? ? ? ? ? ? 通過分析上面三個圖，發現通過簡單的求短時主頻的均值或者標準差作為聲音的唯一特征，是不可靠的。

• 二維特征可視化

? ? ?? 將均值和方差作為一組特征，映射到二維平面上，利用python將這個組合特征映射到二維平面上，分析三種聲音的區分度，如下圖所示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 圖18 二維特征可視化 ? ? ? ? ? ? ? ? ? ? ? ?

?? 通過上圖分析，利用這兩種簡單特征的組合就能使得聲音有了一些區分度。

• 小結

????? 通過這個小實驗發現，這種主頻特征對這三類聲音的表達能力較差。此外，還發現增加特征的維度，使得特征對聲音的區分度更好。

（如有問題，請批評指正）

總結

以上是生活随笔為你收集整理的短时主频点特征对声音表达能力探究1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。