聲明：平時看些文章做些筆記分享出來，文章中難免存在錯誤的地方，還望大家海涵。搜集一些資料，方便查閱學(xué)習(xí)：http://yqli.tech/page/speech.html。語音合成領(lǐng)域論文列表請訪問http://yqli.tech/page/tts_paper.html，語音識別領(lǐng)域論文統(tǒng)計請訪問http://yqli.tech/page/asr_paper.html。如何查找語音資料請參考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有轉(zhuǎn)載，請注明出處。歡迎關(guān)注微信公眾號：低調(diào)奮進(jìn)。

Towards Measuring?Fairness?in?Speech Recognition: Casual Conversations Dataset Transcriptions

本文為facebook在2021.11.18更新的文章，主要開源一個帶諸多metadata屬性(性別，年齡，膚色等等）的閑聊Casual Conversations語音測試集，并使用該測試集對ASR系統(tǒng)進(jìn)行fairness評估，發(fā)掘更多影響ASR效果的諸多因素，為開發(fā)更加?魯棒的ASR系統(tǒng)做貢獻(xiàn)，具體的文章鏈接

https://arxiv.org/pdf/2111.09983.pdf

---

1 研究背景

機(jī)器學(xué)習(xí)系統(tǒng)中的算法偏差問題廣為人知并得到充分研究，諸如面部視覺系統(tǒng)受到膚色、年齡等等因素的影響，但對于ASR模型的偏差研究的關(guān)注度非常低，因此本文提供了帶諸多metadata屬性(性別，年齡，膚色等等）的閑聊Casual Conversations語音測試集，并進(jìn)行ASR偏差實(shí)驗(yàn)和影響因素的探索，為探索更加魯棒的識別系統(tǒng)做貢獻(xiàn)，省卻搜集大量的特定目標(biāo)人的訓(xùn)練語料。

2 詳細(xì)實(shí)驗(yàn)

數(shù)據(jù)從846小時數(shù)據(jù)整理和標(biāo)注572小時，數(shù)據(jù)包括音頻、對應(yīng)的標(biāo)注文本、說話人的性別、年齡、膚色等信息。

對比的四個系統(tǒng)RNN-T

1）LibriSpeech Model：使用LibriSpeech訓(xùn)練的模型

2）video model, supervised: 使用帶標(biāo)注的14k小時的數(shù)據(jù)訓(xùn)練新型模型

3）video model, semi-supervised: 使用帶標(biāo)注的14k小時的數(shù)據(jù)和2百萬無標(biāo)簽的數(shù)據(jù)訓(xùn)練新型模型

4）video model, semi-supervised teacher: 使用10億參數(shù)的teacher模型

對比影響因素：性別，年齡，膚色。其中膚色看起來不會直接影響ASR，但它代表隱含因素對系統(tǒng)影響。

實(shí)驗(yàn)結(jié)果：

先看table1的結(jié)果，每種系統(tǒng)的WER不一樣，這個不在本文的探索之內(nèi)。可以觀測到性別和膚色影響因素對系統(tǒng)的影響很大，整體偏向女性效果較好。另外，年齡之間影響差別較小。Fig.1展示了各種膚色的測CI，如果包括零則差別不大，如黑色線。紅色線代表差別大。LibriSpeech的膚色影響較重，Video semi-supervised稍微好一些，可能跟2百萬的數(shù)據(jù)覆蓋更多屬性有關(guān)。Table2是使用本文閑聊數(shù)據(jù)劃分部分?jǐn)?shù)據(jù)進(jìn)行微調(diào)，即使wer整體下降，但不能降低各因素之間的偏差，需要研究更深層次的影響因素。

3 總結(jié)

對于ASR模型的偏差研究，因此本文提供了帶諸多metadata屬性的閑聊Casual Conversations語音測試集，并進(jìn)行ASR偏差實(shí)驗(yàn)和影響因素的探索，為探索更加魯棒的識別系統(tǒng)做貢獻(xiàn)?。

總結(jié)

以上是生活随笔為你收集整理的语音识别(ASR)论文优选：关注语音识别系统Fairness问题Towards Measuring Fairness in Speech Recognition的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。