破译手势在对话中的意义
編者按:在人與人的交談中,除了語言上的你來我往,我們還會有意無意地用到我們的雙手,做出各種手勢。行為科學家對手勢之于對話的意義感到好奇,而Kinect for Windows傳感器則讓這項研究變得容易。臺灣清華大學的研究者和微軟亞洲研究院合作,最終得出了有趣的實驗結果。?
?
文章譯自:Kinect for Windows helps decode the role of hand gestures during conversations
?
我們都知道除了語言外,人類還有很多其他的交流方式——例如生氣的一瞥或是勉強地點頭。但除了這些明顯的肢體語言,我們在交流中還頻繁地使用我們的雙手。對話中的手勢雖然無處不在,但分析它仍然很難。我們很難得知,這些伴隨著談話的自發的手部動作是否、以及如何塑造溝通的過程和結果。行為科學家想了解這些非語言交際行為的作用。基于這個情況,技術開發者也同樣渴望建立一個幫助人們更為順暢地交流、理解信息的工具。
?
為了破解和他人說話時發言者雙手動作的潛在含義,研究人員需要以高效且經濟的方式追蹤分析手部的動作路徑。臺灣清華大學的王浩全教授和他的團隊意識到他們可以通過使用Kinect for Windows傳感器去捕捉記錄面對面交流過程中的手勢和語音,從而解決這個問題。
?
“我們之所以想用Kinect,是因為它是市面上最流行和實用的運動傳感器。這種普及度可以增加我們研究方法的潛在影響力。”王教授解釋道。“其他研究人員能夠比較容易地沿用我們的研究方法,或是重復我們的研究。Kinect的使用也讓大型行為學研究成為可能,只要用戶使用Kinect,我們就能遠程收集他的行為數據。此外Kinect的軟件開發工具包也易于使用。”
?
基于Kinect for Windows的諸多優勢,王教授與微軟亞洲研究院合作,使用Kinect for Windows在對話中捕捉觀察對象的手部動作。“我知道微軟研究院在應用Kinect進行一些先進的研究,因此我們和微軟的研究人員進行了愉快的合作,來為學術界和社會提供有趣的研究成果。”
?
在接下來的合作研究中,團隊在兩位對話者中間背靠背地放置了兩個Kinect傳感器來記錄談話過程。傳感器同時捕捉到兩個對話者的語言和手部活動,從而提供一份交流雙方的言語信息和手部運動軌跡的帶時間標記的記錄。
試驗中Kinect for Windows傳感器位置示意圖
?
為了展現研究方法的有效性,研究者將面對面交談、視頻聊天和音頻聊天三種情況下的手部動作的數量和相似度做了對比。兩個參與者在面對面交談和視頻聊天中可以看到彼此,但在音頻聊天中他們看不到彼此。
?
研究人員由此發現了一些意想不到的結果。“第一,也許和直覺相悖,實際上人們在音頻、面對面和視頻聊天中的手勢是一樣多的。這表明人們之所以做出手勢不是為了別人,而是為了自己,盡管對方看不到自己,但仍然會做出手勢,”王教授說。
圖表顯示在語音聊天時,人們做出手勢的幾率幾乎和面對面及視頻交流時一樣多。這顯示了手勢更多是為了自己,而不是為了讓對方更好地理解。
?
研究者還考察了對話的參與者對整個交流的理解與使用手勢的數量之間的關系。出人意料的是,他們發現參與者的理解水平和他的對話者使用的手勢數量之間并無相關性。相反,研究者發現,參與者對對話的理解程度與其自身的手勢數量相關。這從另一個角度證明,手部動作并不是為了產生和傳遞信息,而是反映了說話人在內容理解上的自我強化和自我認同。
圖表顯示手勢和做手勢者自己對談話的理解程度的關系,反映出手勢的實際作用是自我強化。
?
無論從理論到實際,Kinect傳感器都有著廣泛的潛在應用(例如,當人們在交流時,我們是否可以用Skype來捕捉他們的手勢動作)。此外,研究人員終于可以突破以往的速度和規模限制來設計他們的實驗了。
?
“在進行跨學科的研究時,Kinect操作簡單、有效,因而降低了研究成本——不需要把時間浪費在一些技術問題上,而能專注解決研究問題。”國立清華大學王教授談道。
?
今年4月在加拿大多倫多舉辦了CHI 2014——主題為“計算系統中的人為因素”的ACM SIGCHI會議(the ACM SIGCHI Conference on Human Factors in Computing Systems)。會上發表了王教授與微軟亞洲研究院這一合作項目的論文全文。
?
“與微軟亞洲研究院合作十分愉快。在感興趣的課題上我得到了很大的支持和自由。這使協作變得真正獨特并具有價值,”王教授說,“我希望與微軟的研究人員們有更為密切的合作,同時擴大當前的工作。能加強對一些非常規交流的理解,如跨文化、跨語言交流、師生授課等。因為基于語言的溝通在這些情況下經常效果不好,非語言部分也許會讓交流變得更加有效。對過程的更深層的理解可以讓技術設計更好地支持這些情況。”
?
?
____________________________________________________________________________________?
相關閱讀
視頻:Opening new doors of communication for sign language users
用Kinect為聽障人士架一座溝通的橋梁
Kinect for Windows官網
?
?
歡迎關注
微軟亞洲研究院人人網主頁:http://page.renren.com/600674137
微軟亞洲研究院微博:http://t.sina.com.cn/msra
?
http://blog.sina.com.cn/s/blog_4caedc7a0102uymf.html
總結
以上是生活随笔為你收集整理的破译手势在对话中的意义的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LATEX论文排版学习资源汇总
- 下一篇: 如何使用LaTeX让自己不乱?