W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear

文章目錄

• W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear
• • 每一篇論文都需要問自己：
  • 摘要：
  • 需要解決的挑戰(zhàn)：
  • 以往的方式
  • • 基于相機的方式[6, 15, 37, 48]
    • 接近傳感器([52],[30])
    • EMG([49][20][19])
    • EOG([8,9][23]
  • 從生理信號中去除動作偽影
  • • 濾波方式
    • 傳感器選擇
  • 解決過程
  • • 去除偽影
    • 臉部動作識別
    • 個性化遷移學習
    • 減少計算復雜度
  • 怎么設計實驗
  • • 建立數據集
    • 評估

---

每一篇論文都需要問自己：

什么是EOG?
眼球是一個雙極性的球體，角膜相對于視網膜呈現正電位，兩者之間有電位差，在眼睛的周圍形成一個電場，當眼球轉動時，該電場的空間相位發(fā)生變化。眼球運動可以產生生物電現象，角膜和網膜之間存在一個電位差，角膜對網膜是帶正電的。當眼睛注視前方不動時，可以記錄到穩(wěn)定的基準電位。眼睛在水平方向上運動時，眼睛左側和右側的皮膚之間的電位差會發(fā)生變化，在垂直方向上運動時，眼睛的上下側的電位會發(fā)生變化。電位的變化由置于皮膚相應位置的電極導入放大器，有放大器的電流計顯示出來或在示波器上顯示，就是眼電信號。來源
創(chuàng)新在哪里？
EOG的電極分布不一樣。更加沒有侵入性的布置，初步消除了運動偽影。
與最相似的論文的區(qū)別在哪里？
用了不同的臉部表情，這篇的臉部動作都是為了檢測疼痛，做一個疼痛檢測系統(tǒng)作為他的貢獻。EOG的電極分布不一樣。
得到什么樣子的效果？
達到了準確0.88的準確率。局限在于都是根據已知動作去訓練然后進行分類，而不是無窮盡動作。

摘要：

以往利用while wearable EEG [12, 34], electrodermal activity [16, 38], and respiration sensors[32]去情感檢測。現在利用市面上一個基于EOG的只能眼鏡通過兩個階段的處理階段去除了運動偽影，然后進行臉部運動檢測。達到了準確0.88的準確率。

需要解決的挑戰(zhàn)：

1.之前實驗室的EOG是在臉部的前額和眼鏡的周圍放置了五個電極，而我們只是在眼鏡的鼻托上放置電極，信號會變得比較微弱，以及沒有那么多角度去測量。
解決方案：在信號的振幅、方向和時間模式上觀察特征加以克服。
2. 這會導致信號會受到頭部和身體變動所引起的阻抗變化。這些變化會引起運動偽影，干擾我們做各種表情的真實信號，需要進行消除。
解決方案：結合加速度計和陀螺儀通過自適應濾波器或CNN網絡進行消除。

以往的方式

以下一些方式的對比：包括在不同的技術下的用戶體驗的舒適性和侵犯性？能移動使用嗎？用戶評價接受度有多廣？

基于相機的方式[6, 15, 37, 48]

1、用戶很難自由移動
2、有限視場（FOV)

接近傳感器([52],[30])

1、受到光照的印象，太需要指向臉部，而且近距離視場

EMG([49][20][19])

1、需要遍布臉部電極，侵入性比較大。

EOG([8,9][23]

1、側重點不同。

從生理信號中去除動作偽影

去除偽影在PPG、EEG和ECG都比較經常用到。

濾波方式

1、頻域濾波（用在ECG PPG，需要是周期性信號）【54】
2、時域噪聲去除方法，比如自適應濾波，不需要周期性信號【8，14】；很多自適應濾波方法采用遞歸最小二乘(RLS)、最小均方乘(LMS)、歸一化最小均方乘(NLMS)等。
3、非線性函數逼近器（神經網絡）【18，40，56】
本文采用了NLMS方法以及神經網絡的方式。

傳感器選擇

我們需要一個傳感器來準確知道引起偽影的時間。通常都是使用IMU，還有一些人用了加速度計【8，10，44】；壓電和拉伸傳感器。【7，21】

IMU和EOG之間的關鍵區(qū)別在于它們檢測上面部和下面部手勢的能力。

解決過程

第一階段去除偽影，第二階段臉部識別。

去除偽影

我們需要建立一個模型來去除偽影，也就是將IMU的數據與EOG的偽影數據進行映射，然后真實EOG數據減掉偽影數據就好了。
參數：
S(n)代表的是真實數據，n是時間刻度，M(n)是估計的運動偽影。

要從IMU的數據映射到M(n)，因此我們需要建模。構建一個時變函數：

α是線性加速度，ω是旋轉角速度。為了求取這個函數：
我們用了兩種方法。
1、NLMS方法
輸入：六個輸入流：三個加速度和三個陀螺儀軸。
輸出：四個輸出流：(The signals it provides are the vertical difference (V), horizontal difference (H) and the raw left (L)and right ? electrode readings）
不應該是4*7 = 28個嗎，不明白為啥是30個(原文：For each output stream, we need six NLMS filters per input stream and one adaptive filter to fuse these outputs.In other words, we need a total of 30 filters.)
濾波器的權重是自適應線上更新的。采用50order(利用50個進行訓練估計），學習率設置為0.05。

2、基于神經網絡回歸模型
輸入：300size的向量（50個數據點 x 6軸)
輸出：4軸數據
隱藏層：20個神經元
還有可縮放后處理模塊（讓估計的振幅和EOG信號有相同的標準差，因此能相互抵消）

臉部動作識別

CNN結構

個性化遷移學習

由于不同人的表情動作不太一樣，所以作者進行了一定的遷移學習訓練。在原有的CNN模型中添加了遷移學習訓練，重新訓練了全連接層。

減少計算復雜度

通過觸發(fā)機制來減小運算負擔。沒有實時進行CNN等運算，而是當有活動出現的時候則觸發(fā)運動偽影算法，只有觸發(fā)偽影后才觸發(fā)后續(xù)模塊算法。

怎么設計實驗

建立數據集

1、設置了三種場景：固定的面部動作、邊走路邊面部動作、邊動頭邊面部動作（因為用戶很難這么做，所以進行了信號合成）；以及最后用OpenFace作為ground truth labeling。
2、17個用戶，男女比例，平均年齡；動作包括：抬起眉毛，減低眉毛，抬起臉頰、皺鼻子，眨眼和“none class”；每一個用戶每一個動作分別做20次；還簡單收集了過程中的非自愿眨眼動作，把這一類分給“none” class；

評估

1、準確率
2、濾波后信噪比
3、偽影消除前后的信號圖
3、偽影去除的噪聲 比較（自適應濾波&神經網絡&完全沒濾波）；（加速度計 陀螺儀 加速度計和陀螺儀）；
4、不同用戶的動作差異帶來的遷移學習結果，發(fā)現6個人動作 準確率不會再上升了。

總結

以上是生活随笔為你收集整理的论文笔记【WiNCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。