睡眠声音识别中的准确率问题(二)--测试结果及分析
1 測試數據集介紹
(1)Audioset數據集: 從該數據集中篩選出鼾聲數據500條;
(2)人工采集的數據集:我們收集了鼾聲及咳嗽數據50條,其中鼾聲數據40條,咳嗽數據10條,利用shuteye錄制。
2 評價指標
原始標簽:1個或者多個;
預測標簽:top-n個標簽;
評價方法:如果原始標簽在預測標簽中出現,則認為預測正確,此處不考慮原始標簽在預測標簽中排名。例如Snoring在top-n之中,則認為該測試數據為Snoring數據,否則認為沒有打鼾。最后的預測公式為:準確率 = 預測正確的個數 / 總的預測個數
3 測試結果
3.1 鼾聲測試
3.1.1 AudioSet數據集
-
當n取1的時候,測試用例在100條時只有10%的正確率,測試用例在300條時達到16.2%的正確率,測試用例在500條時達到16.2%的正確率。
-
當n取2的時候,測試用例在100條時只有57%的正確率,測試用例在300條時達到64.7%的正確率,測試用例在500條時達到70.2%的正確率。
-
當n取3的時候,測試用例在100條時只有80%的正確率,測試用例在300條時達到80.7%的正確率,測試用例在500條時達到84.8%的正確率。
-
當n取4的時候,測試用例在100條時只有83%的正確率,測試用例在300條時達到84.3%的正確率,測試用例在500條時達到87.6%的正確率。
-
當n取5的時候,測試用例在100條時達到84%的正確率,測試用例在300條時達到85%的正確率,測試用例在500條時達到88.4%的正確率。
-
當n取6的時候,測試用例在100條時達到84%的正確率,測試用例在300條時達到86%的正確率,測試用例在500條時達到89.2%的正確率。
-
當n取7的時候,測試用例在100條時達到87%的正確率,測試用例在300條時達到88%的正確率,測試用例在500條時達到90.4%的正確率。
-
當n取8的時候,測試用例在100條時達到87%的正確率,測試用例在300條時達到88.67%的正確率,測試用例在500條時達到90.8%的正確率。
-
當n取9的時候,測試用例在100條時達到88%的正確率,測試用例在300條時達到89.67%的正確率,測試用例在500條時達到91.6%的正確率。
-
當n取10的時候,測試用例在100條時達到87%的正確率,測試用例在300條時達到90.6%的正確率,測試用例在500條時達到92.4%的正確率。
3.1.2 人工數據集
人工采集數據來源于自己錄制,相比audioset中的音頻,,n取1的準確率為0,n取2的準確率最后只有30%,n取3的準確率最后只有58.7%,n取4的準確率最后只有60.9%,n取5~9的效果都準確率最后只有75%+。
n取10 的時候最后準確率在78%左右。
原因分析:采集的數據中背景噪聲較大,且有些音頻存在大段靜默(占80%左右),打鼾聲音很微弱,因此預測效果沒有Audioset的準確率高。
3.2 Cough測試:人工數據集
由于Cough數據較少,因此在網上也收集了一些相關音頻,測試結果如下。n取5的時候,準確率為80%;n取10的時候,準確率依舊為80%左右。
4 討論
在測試的時候,很重要在于測試數據采集是否準確。
目前在人工收集數據的時候,主要用到蝸牛睡眠和shuteye,兩個軟件對比如下:
- 蝸牛睡眠只能錄鼾聲和夢話,并且不夠準確,好處就是免費;
- shuteye可以錄鼾聲、夢話、咳嗽、磨牙、噪音等,種類比蝸牛睡眠多,錄得也要準確些,需要付費。
總結
以上是生活随笔為你收集整理的睡眠声音识别中的准确率问题(二)--测试结果及分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 代码传奇丨美女黑客张婉桥的“爱丽丝奇遇记
- 下一篇: 学霸女神冯净冰:我是如何从复旦走到诺奖获