生活随笔
收集整理的這篇文章主要介紹了
“人脸识别”耳机实现!靠追踪肌肉识别表情
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
用AI使蒙娜麗莎動起來,甚至是跟著你的表情一起運動,隨著技術的發展,這些都已經不是什么新鮮事了。
但是,如果文摘菌告訴你,這些攝像頭其實全都可以撤掉呢?
別急著反駁,這已經被康奈爾大學的研究人員實現了,整個過程他們沒有用到過一個面對用戶正臉的攝像頭,就成功地實現了面部追蹤,至于效果,好像也沒有差到哪兒去。
這時候可能有人想問了,不用攝像頭,怎么追蹤到的面部表情?
文摘菌給一個提示,看到他們戴在耳朵上的儀器了嗎?是的,他們主要使用的,其實就是那副耳機,用戶的表情就能被實時轉換為表情。
這種方法比用攝像頭的“傳統方法”更好的一點在于,即使戴著口罩,系統也可以追蹤用戶的面部表情,這樣的話人們就不用專門取下口罩了。
這個系統被取名為C-Face(Contour-Face)。
康奈爾大學SciFi實驗室主任、C-Face論文的高級作者張鋮在一份聲明中說:“該設備比任何現有的耳掛式可穿戴技術都更簡單、更引人注目,功能也會更強大。”
“在以前的旨在識別面部表情的可穿戴技術中,大多數解決方案都需要在面部上安裝傳感器,但即使用了如此多的傳感器,不少系統最終也只能識別有限的一組離散面部表情。”
https://www.scifilab.org/c-face
抓取42個特征點,C-Face還支持無聲命令和聊天表情發送
在這個項目中,研究人員也不是完全沒有用到攝像頭,只不過他們用得及其隱蔽。
可能已經有“陳獨秀”想要搶答了,注意觀察使用者的耳朵下方,左右分別配備了一個RGB攝像頭,這些攝像頭能夠在使用者移動面部肌肉時,記錄下臉頰輪廓的變化。
除了入耳式耳機,頭戴式耳機也同樣可以安裝攝像頭,進行面部識別工作。
在使用計算機視覺和深度學習模型重建圖像后,卷積神經網絡能夠分析2D圖像,將面部特征轉換為42個面部特征點,這些特征點分別代表了使用者的嘴巴、眼睛和眉毛的位置和形狀。
有了詳細的臉部追蹤數據,C-Face可以將這些數據轉換成八種不同表情,包括中立或憤怒。
不僅如此,C-Face還支持使用面部表情控制音樂應用程序上的播放選項。
手機在桌上充電,但是現在只想攤在沙發上不想動,你甚至不用說出聲音,就能播放歌曲:
或者,你在聊天的時候想要發送表情,但是死活找不到表情包了,怎么辦?
這個時候,你可以直接做出相關表情,系統就能識別并直接發送出去,簡直不要太方便:
不過,由于受到新冠疫情的影響,研究人員目前只在9名參與者的情況下測試了C-Face。盡管數量不大,但表情識別的準確度超過了88%,面部提示的準確度超過了85%。
同時,研究人員發現,耳機的電池容量限制了該系統的持續作用,他們正在計劃開發功耗更低的傳感技術。
在這個項目的研發團隊中,文摘菌發現了一位華人教授的身影——張鋮,他也是這個研發團隊的負責人。
根據張鋮個人網站介紹,他目前是康奈爾大學計算機和信息科學的助理教授,同時也是未來交互智能計算機接口(Smart Computer Interfaces for Future Interaction,SciFi)實驗室主任。
https://www.scifilab.org/
從南開大學的本科,到以中國科學院軟件研究所的優秀畢業生身份畢業,再到前往美國佐治亞理工學院Ubicomp實驗室繼續深造,張鋮始終對普適計算(ubiquitous computing)和人機交互(HCI)懷有濃厚的興趣。
在中國科學院期間,他就針對有形用戶界面、兒童人機交互、音樂界面等進行了初步研究,獲得了第一手的研究經驗。
在張鋮的博士論文中,他介紹了10種用于可穿戴設備的新型輸入技術,有些利用了商用設備,有些采用了新的硬件。與大多數人不同,張鋮習慣于從頭到尾建造傳感系統,包括理解物理現象、構建硬件原型、設計形式因素、處理數據和設計算法(機器學習或基于物理的建模)。
截至目前,張鋮在人機交互和普適計算領域的頂級會議和期刊上發表了十多篇論文,還獲得了兩項最佳論文獎,同時他還身懷超過10項美國和國際專利。
總結
以上是生活随笔為你收集整理的“人脸识别”耳机实现!靠追踪肌肉识别表情的全部內容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。