VR/AR/MR（統(tǒng)稱為XR）有望成為個人電腦、手機(jī)之后的下一代計算平臺，元宇宙的硬件入口。

近年來XR發(fā)展迅猛，不僅可以應(yīng)用于游戲、影視領(lǐng)域，還在軍事、醫(yī)療、辦公、教育等領(lǐng)域有巨大的發(fā)展前景。然而相比于XR強(qiáng)大的顯示技術(shù)，其文字輸入技術(shù)在效率和靈活性方面還遠(yuǎn)遠(yuǎn)落后。

文字輸入是計算機(jī)的基本功能。個人電腦的打字靠物理鍵盤，手機(jī)的打字靠觸摸屏軟鍵盤。XR要成為普適的計算平臺，必然要解決文本輸入這一基本需求。人機(jī)交互研究者已經(jīng)開發(fā)了多種面向XR的打字技術(shù)，但各有其不足，目前尚未出現(xiàn)主流的輸入技術(shù)。下面分類介紹幾種代表性的XR文字輸入技術(shù)。

基于外設(shè)的手部輸入

物理鍵盤

利用人們對于物理鍵盤的熟悉度，研究者將物理QWERTY鍵盤或其變體應(yīng)用于XR中作為輸入設(shè)備。但由于在XR應(yīng)用中，通常無法（或不方便）看到物理鍵盤和手，一些研究者提出將鍵盤和手的視頻混合到顯示中的方法，還有研究者利用光學(xué)跟蹤技術(shù)來跟蹤鍵盤和手，以提供視覺反饋。

Knierim等（2018）

這些方法通常支持快速和豐富的文本輸入，但物理鍵盤需要一個平坦的表面作為支撐，而且其攜帶起來太笨重，這限制了XR的使用。此外，物理鍵盤大多借助跟蹤技術(shù)來獲得更好的打字性能，這在實現(xiàn)上也有困難。

傳統(tǒng)手柄

電視遙控器、傳統(tǒng)游戲手柄等可以實現(xiàn)簡單的文字輸入，使用者需要通過多次離散的按鍵來選擇字母或符號。這些傳統(tǒng)手柄的便攜性比全尺寸物理鍵盤好，也不需要支撐平面。但是這種方式只能實現(xiàn)最簡單的文字輸入，而且多次離散的按鍵會導(dǎo)致輸入速度非常的慢。

此外，研究者將虛擬鍵盤劃分為多個區(qū)域進(jìn)行打字實驗。比如，PizzaText使用游戲控制器的兩個控制桿在圓形鍵盤布局中進(jìn)行選擇，Min等人則將鍵盤布局劃分為3*3個單元格，通過指向單元格來選擇按鍵。

PizzaText（Yu等，2018）

雖然手柄在XR中打字很容易學(xué)習(xí)，但這類方法輸入速度很慢，主要適用于難度較低的按鍵選擇等任務(wù)，不適合在辦公等應(yīng)用中進(jìn)行復(fù)雜、大量的文本輸入。

觸摸屏

觸摸屏或觸控板上的文本輸入，將熟悉的手機(jī)交互帶入虛擬現(xiàn)實。比如BlindType探索了用一個拇指在觸控板上盲打字，用戶在一個有想象的QWERTY鍵盤的屏幕上敲擊，同時在顯示器中接受文本的反饋。這類方法通常將虛擬界面與觸摸屏（比如智能手機(jī)）對齊來進(jìn)行輸入。

BlindType（Lu等，2017）

然而這類方法通常需要額外的大尺寸觸摸屏或觸摸板作為輸入設(shè)備，這導(dǎo)致XR使用上的不方便。此外，觸摸屏打字基于間接的視覺反饋，需要額外的注意跟蹤當(dāng)前的狀態(tài)，相比于觸覺反饋并不直觀有效。

6DoF手柄

多數(shù)消費級的VR頭顯，比如Oculus Quest、Pico等，都支持利用手柄指示的射線來選擇字母。這種輸入方式很直觀、易學(xué)，但是這種打字方式需要持續(xù)的視覺注意力和精細(xì)的手柄控制，用戶長時間打字會有明顯的疲倦感，因而它也并不適用于復(fù)雜、大量的文本輸入任務(wù)。

利用頭戴攝像頭跟蹤手

一些VR/AR眼鏡（比如Oculus Quest、HoloLens）利用基于視覺的手勢跟蹤技術(shù)追蹤用戶的手，打字時一個虛擬鍵盤將被投射到用戶視野中，用戶的手指被眼鏡中的攝像頭實時跟蹤，并通過手指在虛擬鍵盤上的“觸控”實現(xiàn)輸入。

HoloLens2的虛擬鍵盤

這種方式通過內(nèi)置頭戴攝像頭實現(xiàn)類似于手機(jī)中的觸控打字，但在有遮擋或者手指快速運動時可能出現(xiàn)誤差，其使用的光學(xué)跟蹤技術(shù)也相對昂貴。此外，長時間懸空操作容易導(dǎo)致用戶疲勞。

外部相機(jī)

Vulture（Markussen等，2014）

佩戴在身體上或外部的相機(jī)可以用來識別手部的動作或手勢，從而實現(xiàn)XR打字。TypeNet等方法通過光學(xué)跟蹤實現(xiàn)在相機(jī)前的平面上快速打字，這些方法需要在虛擬的QWERTY鍵盤上打字，延續(xù)用戶的打字習(xí)慣。OmniTouch是一款肩戴式深度感應(yīng)和投影系統(tǒng)，可以在手掌等平面上進(jìn)行文本輸入。其他方法通過識別手勢實現(xiàn)了懸空的文本輸入，比如Vulture通過跟蹤捏緊的手指，根據(jù)在空中手指的運動軌跡輸出最佳的匹配單詞。

基于外部相機(jī)的文本輸入方法不依賴物理鍵盤，使得文本輸入更加靈活。然而，研究表明：(1)用戶在快速運動時可能會因跟蹤誤差而限制速度，(2)長時間手懸空打字后會導(dǎo)致用戶疲勞。由于基于相機(jī)的手指跟蹤仍然是一個具有挑戰(zhàn)性的問題，這些研究大多使用昂貴的光學(xué)跟蹤技術(shù)，這導(dǎo)致這類方法實用性不足。和VR眼鏡的手勢跟蹤方法相比，基于外部的相機(jī)實現(xiàn)的打字方法更不方便，因為需要額外攜帶體積較大的跟蹤設(shè)備。

可穿戴的手部輸入

這里指利用戴在手上的傳感器進(jìn)行打字。

手套

手套作為可穿戴的交互式傳感設(shè)備是實現(xiàn)文本輸入的一種途徑。KITTY和DigiTouch利用手套上的電子觸電或部分導(dǎo)電區(qū)域來檢測手指觸摸事件，實現(xiàn)復(fù)雜的手指輸入交互。Argot是一款有15個按鈕的單手可穿戴手套，通過磁反應(yīng)結(jié)合觸摸反饋實現(xiàn)打字交互。

然而這些打字方式均要求用戶戴手套，這會影響用戶日常交互，在靈活性和舒適性上存在缺陷。

Pinch Keyboard（Kuester等，2005）

手腕

另一種可穿戴式文本輸入方法是佩戴有不同傳感器的腕戴設(shè)備。PalmType使用左手手腕上的紅外傳感器來檢測用戶右手食指在左手手掌上的位置。BlueTap和DigiTap將字母按順序映射到手指上，并使用手腕上的攝像頭來檢測敲擊。當(dāng)存在手指遮擋和快速敲擊時，腕戴式相機(jī)很難準(zhǔn)確檢測敲擊位置。還有基于MYO肌電傳感器的打字技術(shù)（被Meta收購）。

PalmType（Wang等，2015）

ViFin識別懸空手指的書寫軌跡實現(xiàn)打字，它使用智能手表的慣性測量單元（IMU）來檢測用戶食指運動時的振動情況，并利用深度網(wǎng)絡(luò)對食指書寫的字符進(jìn)行解碼，其計算量較大，且ViFin的識別精度相對較低。TapType使用兩個帶有IMU的無線腕帶（TapID技術(shù)中首次引入）來感知手指在平面上輕觸產(chǎn)生的振動，并用解碼器對十指打字的字符序列進(jìn)行估計。TapType作為一種基于學(xué)習(xí)的手指識別方法，需要以有監(jiān)督的方式訓(xùn)練分類器，在不同用戶和表面材料上可能存在泛化問題。

TapType（Streli等，2022）

手指

佩戴在手指上的設(shè)備使用起來靈活輕便，可以通過感應(yīng)手指旋轉(zhuǎn)/觸摸事件和識別手勢來實現(xiàn)富有表現(xiàn)力的文本輸入交互。例如，FingeRing基于手指敲擊事件與加速度計的組合生成鍵的映射，并允許在任何表面（如腰部或大腿）上輸入。類似地，TypingRing和QwertyRing通過不同的傳感器衡量手指的運動，并在任何類似桌面的表面上識別虛擬鍵盤上選定的鍵。TypeAnywhere使用兩個Tap Strap（商用的基于IMU的手指穿戴設(shè)備）來檢測任何表面上的敲擊。RotoSwype使用一個運動跟蹤傳感器和一個帶按鈕的貼環(huán)實現(xiàn)基于手勢的文字輸入。

TypeAnywhere（Zhang等，2022）

基于手勢的方法缺乏足夠的鍵來快速輸入，因此這些方法不適合復(fù)雜的文本輸入。基于加速度等運動信息或手的旋轉(zhuǎn)來感知按鍵事件的設(shè)備，通常需要輔助傳感信息來確保準(zhǔn)確的輸入。在這些方法中，文本輸入的操作需要非常精確，這對于初學(xué)者來說并不直觀，在XR環(huán)境中很難學(xué)習(xí)。此外，上述技術(shù)大多采用統(tǒng)計解碼器來提高輸入速度和糾錯，對于更大符號集等打字任務(wù)缺乏有效的輸入方式。

除了通過檢測手指的運動信息來打字外，通過感知身體的觸摸事件來輸入文本的方法也被廣泛研究。TipText，BiTipText和ThumbText在手指上戴微型的觸摸傳感器，在兩次觸摸事件后選擇字符。FingerText和FingerT9利用電容感應(yīng)技術(shù)，通過拇指和手指之間的手內(nèi)觸摸來實現(xiàn)單手文本輸入。

TipText（Xu等，2019）

在上述基于觸摸傳感器的技術(shù)中，按鍵鍵被映射到手指、手掌或指甲上的不同區(qū)域。這些方法充分利用了手指的靈活性。然而，手指打字的輸入?yún)^(qū)域通常受到很大限制（如果面積過大，就有手套的缺點），從而限制了按鍵的數(shù)量，導(dǎo)致打字效率低下。事實上，它們中很少支持全字符集輸入。

為解決這個問題，PrinType利用戴在拇指上的的指紋傳感器來識別手指的不同區(qū)域，大大擴(kuò)展了輸入空間，同時不影響手指執(zhí)行其他任務(wù)。PrinType通過將當(dāng)前圖像與注冊模板匹配來識別傳感器接觸的位置，手指的不同區(qū)域被分配給不同的鍵，在虛擬現(xiàn)實中構(gòu)成一個功能齊全的鍵盤。由于手指的靈活性和指紋識別技術(shù)的有效性，手指掌側(cè)的大部分位置都可以被觸摸和識別，這適應(yīng)了典型鍵盤中包含的大量的離散按鍵的需求。利用指尖靈敏的觸摸感知能力和實時的視覺反饋，PrinType可以實現(xiàn)虛擬現(xiàn)實中的盲打字。

PrinType指紋打字技術(shù)支持大量符號集，包括大小寫字母、數(shù)字、標(biāo)點符號等。（Liu等，2022）

其他技術(shù)

XR的頭顯中嵌入各種傳感器，可以測量頭部和眼睛的運動，或記錄聲音。語音識別的發(fā)展使得語音轉(zhuǎn)錄文字成為一種成熟的文本輸入方法，然而在某些場合下，說話并不方便，并且語音輸入缺乏有效的文字編輯技術(shù)。Yu等人和Speicher等人比較了基于頭部指向的文本輸入技術(shù)，Ma等人和Rajanna等人研究了VR中的凝視打字方法。然而，在這些方法中，用戶需要將光標(biāo)移動到目標(biāo)位置，然后通過視線一定的時間停留在該字符上來選擇字符，從而導(dǎo)致輸入時眼睛的疲勞。

總結(jié)

XR中高效的文字輸入是尚未解決的問題。一項文字輸入技術(shù)要想在XR中流行，有許多需要考量的指標(biāo)，除了需要在盲操作時有快速而準(zhǔn)確的輸入潛力，該打字方法還要易學(xué)習(xí)、便攜性好、造價不能過于昂貴等。最重要的是，要能很好的嵌入XR系統(tǒng)，在交互時足夠方便舒適、有很好的用戶體驗感。

參考文獻(xiàn)

Aakar Gupta, Cheng Ji, Hui-Shyong Yeo, Aaron Quigley, and Daniel Vogel. 2019. RotoSwype: Word-Gesture Typing Using a Ring. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1–12).

Anna Peshock, Julia Duvall, and Lucy E. Dunne. (2014). Argot: A Wearable One-Handed Keyboard Glove. In Proceedings of the 2014 ACM International Symposium on Wearable Computers: Adjunct Program (pp. 87–92).

Ben Maman and Amit Bermano. (2022). TypeNet: Towards Camera Enabled Touch Typing on Flat Surfaces through Self-Refinement. In 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 567–576).

Chris Harrison, Hrvoje Benko, and Andrew D. Wilson. (2011). OmniTouch: Wearable Multitouch Interaction Everywhere. In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology (pp. 441–450).

Chun Yu, Yizheng Gu, Zhican Yang, Xin Yi, Hengliang Luo, and Yuanchun Shi. (2017). Tap, Dwell or Gesture? Exploring Head-Based Text Entry Techniques for HMDs. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 4479–4488).

Dash, S. (2017). BlueTap—The Ultimate Virtual-Reality (VR) Keyboard.

DoYoung Lee, Jiwan Kim, and Ian Oakley. (2021). FingerText: Exploring and Optimizing Performance for Wearable, Mobile and One-Handed Typing. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 283-298).

Dube, T. J., & Arif, A. S. (2019, July). Text entry in virtual reality: A comprehensive review of the literature. In International Conference on Human-Computer Interaction (pp. 419-437). Springer, Cham.

Eric Whitmire, Mohit Jain, Divye Jain, Greg Nelson, Ravi Karkar, Shwetak Patel, and Mayank Goel. (2017). DigiTouch: Reconfigurable Thumb-to-Finger Input and Text Entry on Head-Mounted Displays. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(3), 113-134.

Falko Kuester, Michelle Chen, Mark E. Phair, and Carsten Mehring. (2005). Towards Keyboard Independent Touch Typing in VR. In Proceedings of the ACM Symposium on Virtual Reality Software and Technology (pp. 86–95).

Junhyeok Kim, William Delamare, and Pourang Irani. (2018). ThumbText: Text Entry for Wearable Devices Using a Miniature Ring. In Proceedings of the 44th Graphics Interface Conference (pp. 18–25).

Kim, J., Delamare, W., & Irani, P. (2018, May). Thumbtext: Text entry for wearable devices using a miniature ring. In Graphics Interface.

Knierim, P., Schwind, V., Feit, A. M., Nieuwenhuizen, F., & Henze, N. (2018, April). Physical keyboards in virtual reality: Analysis of typing performance and effects of avatar hands. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-9).

Kyungha Min. (2011). Text Input Tool for Immersive VR Based on 3×3 Screen Cells. In Proceedings of the 5th International Conference on Convergence and Hybrid Information Technology (pp. 778–786). Springer-Verlag, Berlin, Heidelberg.

Lee, D., Kim, J., & Oakley, I. (2021, May). Fingertext: Exploring and optimizing performance for wearable, mobile and one-handed typing. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1-15).

Liu, Z., He, J., Feng, J., & Zhou, J. (2022). PrinType: Text Entry via Fingerprint Recognition. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 6(4), 1-31.

Lu, Y., Yu, C., Yi, X., Shi, Y., & Zhao, S. (2017). Blindtype: Eyes-free text entry on handheld touchpad by leveraging thumb’s muscle memory. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(2), 1-24.

Manuel Pr?torius, Dimitar Valkov, Ulrich Burgbacher, and Klaus Hinrichs. (2014). DigiTap: An Eyes-Free VR/AR Symbolic Input Device. In Proceedings of the 20th ACM Symposium on Virtual Reality Software and Technology (pp. 9–18).

Marco Speicher, Anna Maria Feit, Pascal Ziegler, and Antonio Krüger. (2018). Selection-Based Text Entry in Virtual Reality. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1–13).

Markussen, A., Jakobsen, M. R., & Hornb?k, K. (2014, April). Vulture: a mid-air word-gesture keyboard. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1073-1082).

Masaaki Fukumoto and Yasuhito Suenaga. (1994). “FingeRing”: A Full-Time Wearable Interface. In Conference Companion on Human Factors in Computing Systems (pp. 81–82).

Nirjon, S., Gummeson, J., Gelb, D., & Kim, K. H. (2015, May). Typingring: A wearable ring platform for text input. In Proceedings of the 13th Annual International Conference on Mobile Systems, Applications, and Services (pp. 227-239).

Pui Chung Wong, Kening Zhu, and Hongbo Fu. (2018). FingerT9: Leveraging Thumb-to-Finger Interaction for Same-Side-Hand Text Entry on Smartwatches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1–10).

Shahriar Nirjon, Jeremy Gummeson, Dan Gelb, and Kyu-Han Kim. (2015). TypingRing: A Wearable Ring Platform for Text Input. In Proceedings of the 13th Annual International Conference on Mobile Systems, Applications, and Services (pp. 227–239).

Speicher, M., Feit, A. M., Ziegler, P., & Krüger, A. (2018, April). Selection-based text entry in virtual reality. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

Streli, P., Jiang, J., Fender, A. R., Meier, M., Romat, H., & Holz, C. (2022, April). TapType: Ten-finger text entry on everyday surfaces via Bayesian inference. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1-16).

Vijay Rajanna and John Paulin Hansen. (2018). Gaze Typing in Virtual Reality: Impact of Keyboard Design, Selection Method, and Motion. In Proceedings of the 2018 ACM Symposium on Eye Tracking Research & Applications (pp. 15-25).

Wang, C. Y., Chu, W. C., Chiu, P. T., Hsiu, M. C., Chiang, Y. H., & Chen, M. Y. (2015, August). PalmType: Using palms as keyboards for smart glasses. In Proceedings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services (pp. 153-160).

Wenqiang Chen, Lin Chen, Meiyi Ma, Farshid Salemi Parizi, Shwetak Patel, and John Stankovic. (2021). ViFin: Harness Passive Vibration to Continuous Micro Finger Writing with a Commodity Smartwatch. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 5(1), 45-70.

Wong, P. C., Zhu, K., & Fu, H. (2018, April). Fingert9: Leveraging thumb-to-finger interaction for same-side-hand text entry on smartwatches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-10).

Xinyao Ma, Zhaolin Yao, Yijun Wang, Weihua Pei, and Hongda Chen. (2018). Combining Brain-Computer Interface and Eye Tracking for High-Speed Text Entry in Virtual Reality. In 23rd International Conference on Intelligent User Interfaces (pp. 263–267).

Xu, Z., Chen, W., Zhao, D., Luo, J., Wu, T. Y., Gong, J., … & Yang, X. D. (2020, April). Bitiptext: Bimanual eyes-free text entry on a fingertip keyboard. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

Xu, Z., Wong, P. C., Gong, J., Wu, T. Y., Nittala, A. S., Bi, X., … & Yang, X. D. (2019, October). Tiptext: Eyes-free text entry on a fingertip keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology(pp. 883-899).

Yizheng Gu, Chun Yu, Zhipeng Li, Zhaoheng Li, Xiaoying Wei, and Yuanchun Shi. (2020). QwertyRing: Text Entry on Physical Surfaces Using a Ring. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 4(4), 128-157.

Yu, D., Fan, K., Zhang, H., Monteiro, D., Xu, W., & Liang, H. N. (2018). PizzaText: text entry for virtual reality systems using dual thumbsticks. IEEE transactions on visualization and computer graphics, 24(11), 2927-2935.

Zhang, M. R., Zhai, S., & Wobbrock, J. O. (2022, April). TypeAnywhere: A QWERTY-Based Text Entry Solution for Ubiquitous Computing. In CHI Conference on Human Factors in Computing Systems (pp. 1-16).

Zheer Xu, Pui Chung Wong, Jun Gong, Te-Yen Wu, Aditya Shekhar Nittala, Xiaojun Bi, Jürgen Steimle, Hongbo Fu, Kening Zhu, and Xing-Dong Yang. (2019). TipText: Eyes-Free Text Entry on a Fingertip Keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 883–899).

Zheer Xu, Weihao Chen, Dongyang Zhao, Jiehui Luo, Te-Yen Wu, Jun Gong, Sicheng Yin, Jialun Zhai, and Xing-Dong Yang. (2020). BiTipText: Bimanual Eyes-Free Text Entry on a Fingertip Keyboard. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1–13).

總結(jié)

以上是生活随笔為你收集整理的XR文字输入技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。