Faceware 面部捕捉在Unity中的应用
官網軟件下載:https://www.facewaretech.com/
官網教程:http://support.facewaretech.com/
官網素材下載:https://www.facewaretech.com/learn/free-assets
Faceware Analyzer + Faceware Retargeter(Maya)+ Unity
真人面部動作 --?動作數據 -- 模型動畫
?
?
?
一 . Faceware Analyzer
這個軟件是負責將輸入的視頻或連續的圖片進行面部的跟蹤分析,解析成數據,總結來講就是視頻數據 -> 面部跟蹤數據
1. 新建job
新建一個Job,選擇跟蹤的視頻源,要主要人面部要清晰,眉毛眼睛要露出來,具體更詳細的要求可以看官方文檔,總結來講就是臉部越清晰越好,周圍的干擾越少越好。我這里是從網上扒下來的新聞聯播一段視頻,央媒千萬別說我侵權啊!
?
2. 設置采樣點
導入后,可以看到采樣點了,就是下圖中那些藍色的point,但是可以看出來,默認情況下采樣點和臉部是完全不匹配的。
現在我們需要設置采樣點的位置,有兩種方式:
第一種是手動設置,這種工作量略大,但是更精準,可以自己控制采樣位置。
第二種方式是自動跟蹤,faceware會自動解析視頻數據,設置采樣點,這種方式非常非常簡單快捷。
我們這里使用的自動跟蹤,關于手動設置跟蹤,可以查看文檔。直接點擊自動跟蹤,等待一小會,結果就出來了,我們看到采樣點已經自動設置到了新聞聯播主播臉上對應的位置。
拖動時間軸,可以看到每一幀都很精準的跟蹤到了位置,如果不使用自動跟蹤,則需要手動設置多個關鍵幀數據進行跟蹤解析。?
3.? ?導出數據
點擊右上角的參數化按鈕,將跟蹤的數據導出,導出后的.fwt文件就是跟蹤數據。該數據即可提供給faceware builder使用。
?
二. Faceware Retargeter
Faceware Retargeter是以插件形式導入DCC軟件中進行動作數據的重新定位,這里我們使用Maya。從官網下載Faceware Retargeter以及其運行所需的其他軟件(mathlab等)。
1.導入Faceware Retarger
導入插件后,在maya導航欄里就能看到Faceware的標簽了,點擊后打開Faceware Retarger。
2. 導入模型和數據
這里我們使用Faceware官網上提供的免費人臉模型,你也可以自己建模,但是要自己綁定rig。
模型導入后導入由Faceware Analyzer生成的fwt數據。點擊表演-》打開 導入文件,要注意勾選自動生成解決。這里我們也導入官網提供的該模型的綁定表情的信息,如果沒有表情綁定信息,需要自己手動調整模型每個表情關鍵幀。
3. 表情集
點擊高級 -》角色設置 ,打開角色設置界面。選擇文件 -》加載,加載從官網下載的表情xml文件,加載后即可看到已設置好的表情集。如果想自己手動重新創建表情集,可以參照官網教程,對每個表情關鍵幀進行模型的調整然后保存。
在Maya中查看綁定后的效果:?
三. 導入Unity
在Maya中選擇文件-》發送到Unity,將模型到入到Unity工程中,在Unity中模型拖入到場景中,將動畫設置到模型上,即可查看到效果。下面的視頻可以看下最后的效果,錄制時候兩邊我沒有調整成完全同步的,但是能看出來效果還是不錯的。
?
?
總結
以上是生活随笔為你收集整理的Faceware 面部捕捉在Unity中的应用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Unity SRP自定义渲染管线 --
- 下一篇: 字符串查找strpos()函数用法