清华可穿戴智能喉登 Nature 子刊,实测准确率 90%+
原文標(biāo)題:《清華可穿戴智能喉登 Nature 子刊,實(shí)測(cè)準(zhǔn)確率 90%+,網(wǎng)友:@李雪健老師》
將一塊僅硬幣大小的圓片,貼在喉嚨處,嗓子有問(wèn)題的人就可以重獲新“聲”了。
這是清華大學(xué)發(fā)表在 Nature 子刊上的最新研究成果,一個(gè)用石墨烯材料做成的可穿戴喉嚨。
它可以準(zhǔn)確識(shí)別到佩戴者喉嚨處的細(xì)微振動(dòng)以及模糊的話語(yǔ),然后將之合成為正常的語(yǔ)音,平均識(shí)別準(zhǔn)確率高達(dá) 99.05%。
據(jù)稱,這款設(shè)備在噪音非常大的地方也好使。
如此一來(lái),那些不能正常發(fā)聲的人,包括喉切除患者、臨時(shí)嗓子發(fā)炎者、長(zhǎng)時(shí)間講課的老師、在嘈雜環(huán)境工作但需要交流的人等,都有救了。
當(dāng)然,還有不少人直接 cue 起了李雪健老師。
清華可穿戴智能喉,患者實(shí)測(cè)準(zhǔn)確率 91%
要說(shuō)幫喉嚨有問(wèn)題的人解決交流問(wèn)題,科學(xué)家早就在研究了。
不過(guò)此前的一些方案由于帶有一系列外設(shè)或者多通道電極,通常具有侵入性且不夠便攜。
要解決這倆問(wèn)題,需要感應(yīng)器足夠靈敏且小巧,在外部就能使用。
還需要足夠貼合皮膚。
因?yàn)槔碚撋希聿康恼駝?dòng)反映的是聲帶以及相關(guān)肌肉群的運(yùn)動(dòng)。
一些聲帶發(fā)聲有障礙的人,可能會(huì)訓(xùn)練食管發(fā)聲,因此,需要柔性傳感器來(lái)保持對(duì)皮膚的貼合從而照顧到這一部位。
好在,有這么一種東西可以滿足這些需要。
它就是用柔性激光直寫(xiě)(laser-scribed)石墨烯(LSG)制成的機(jī)械傳感器,專門(mén)用于身體表面。
不過(guò),由于不確定這種設(shè)備對(duì)低頻肌肉運(yùn)動(dòng)和傳遞到皮膚表面的聲音振動(dòng)是否敏感,作者團(tuán)隊(duì)對(duì)它的蜂窩狀微觀結(jié)構(gòu)進(jìn)行了優(yōu)化。
最終,它可以做到在 > 1000 次的彎曲測(cè)試后仍表現(xiàn)出均勻穩(wěn)定的靈敏度,準(zhǔn)確識(shí)別出頻率范圍在 100–20kHz 之間的振動(dòng)信息。
由于 LSG 薄膜具有導(dǎo)電性和導(dǎo)熱性,這種設(shè)備也可以通過(guò)熱聲效應(yīng)產(chǎn)生聲音。在聲音發(fā)射穩(wěn)定性的實(shí)驗(yàn)中,作者證明它可以做到連續(xù)三小時(shí)都保持穩(wěn)定。
下面是這款可穿戴智能喉的工作流程:
首先,設(shè)備將收集到的振動(dòng)信息編碼為標(biāo)準(zhǔn)脈沖編碼調(diào)制(PCM)信號(hào)。
然后通過(guò)快速傅里葉變換(FFT)生成相應(yīng)的頻譜圖。
接著通過(guò)模型進(jìn)行外部處理和識(shí)別,將檢測(cè)到的多模態(tài)信號(hào)轉(zhuǎn)換為相應(yīng)的語(yǔ)音。
最后通過(guò)熱聲效應(yīng)驅(qū)動(dòng)設(shè)備發(fā)聲,幫助佩戴者完成交流。
實(shí)驗(yàn)表明,這款設(shè)備對(duì)音素、音調(diào)以及單詞的識(shí)別準(zhǔn)確率平均達(dá)到了 99.05%。
下圖則顯示了設(shè)備在不同強(qiáng)度(dB)噪音下的識(shí)別精度。
可以看到,它在環(huán)境噪聲超過(guò) 60dB 的情況下,也能保持識(shí)別能力,抗噪能力遠(yuǎn)遠(yuǎn)優(yōu)于麥克風(fēng)。
“Talk is cheap”,作者也進(jìn)行了實(shí)戰(zhàn)測(cè)試。
他們找來(lái)一位完成了喉切除(非全切)手術(shù)的志愿者,檢測(cè)六個(gè)日常短句的識(shí)別情況。
從頻譜圖可以看出,可穿戴智能喉可以感知患者喉嚨的發(fā)聲振動(dòng)。
不過(guò)由于發(fā)聲器官不完整,患者有時(shí)會(huì)在說(shuō)話時(shí)吞咽聲音。不過(guò)微調(diào)模型仍然能夠從信號(hào)中提取足夠的信息,將識(shí)別準(zhǔn)確率做到 81.25%。
接著,他們又對(duì)用到的單個(gè) AlexNet 模型進(jìn)行了優(yōu)化(Alex Net+ReliefF+SVM),最終實(shí)現(xiàn)了 91% 的識(shí)別精度。
總的來(lái)說(shuō),由于制造工藝可行、靈敏度高、性能穩(wěn)定、抗噪能力強(qiáng)以及集成了發(fā)聲能力,作者認(rèn)為,這款可穿戴喉嚨可以成為下一代語(yǔ)音識(shí)別和交互系統(tǒng)的理想工具。
而網(wǎng)友們也腦洞大開(kāi):
有讓加個(gè)音色調(diào)節(jié)的過(guò)濾器,變成可穿戴變聲器的;
也有說(shuō)來(lái)個(gè)實(shí)時(shí)翻譯,就讓人直接擁有說(shuō)多種語(yǔ)言的能力的。
你覺(jué)得還有哪些妙用?
論文地址:
https://www.nature.com/articles/s42256-023-00616-6
參考鏈接:
-
https://weibo.com/1231317854/MwsEvkugi?refer_flag=1001030103_
本文來(lái)自微信公眾號(hào):量子位 (ID:QbitAI),作者:豐色
總結(jié)
以上是生活随笔為你收集整理的清华可穿戴智能喉登 Nature 子刊,实测准确率 90%+的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 你以为的论文答辩,实际的论文答辩,看着看
- 下一篇: 爆鳞龙是什么('暴'和'爆'的区别是什么