雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))按：光場技術(shù)是目前最受追捧的下一代顯示技術(shù)，谷歌、Facebook、Magic Leap等國內(nèi)外大公司都在大力布局。然而目前國內(nèi)對光場（Light Field）技術(shù)的中文介紹十分匱乏，曹煊博士《Mars說光場》系列文章旨在對光場技術(shù)及其應(yīng)用的科普介紹。

曹煊博士系騰訊優(yōu)圖實(shí)驗(yàn)室高級研究員。優(yōu)圖— 騰訊旗下頂級的機(jī)器學(xué)習(xí)研發(fā)團(tuán)隊(duì)，專注于圖像處理、模式識別、深度學(xué)習(xí)。在人臉識別、圖像識別、醫(yī)療AI、OCR、哼唱識別、語音合成等領(lǐng)域都積累了領(lǐng)先的技術(shù)水平和完整解決方案。

《Mars說光場》系列文章目前已有5篇，包括：

《Mars說光場（1）— 為何巨頭紛紛布局光場技術(shù)》；

《Mars說光場（2）— 光場與人眼立體成像機(jī)理》；

《Mars說光場（3）— 光場采集》；

《Mars說光場（4）— 光場顯示》；

《Mars說光場（5）— 光場在三維人臉建模中的應(yīng)用》；

雷鋒網(wǎng)經(jīng)授權(quán)發(fā)布。

【摘要】 — 人眼產(chǎn)生三維立體視覺來源于心理感知和生理感知。根據(jù)能夠產(chǎn)生多少3D視覺信息，可以把現(xiàn)有顯示設(shè)備分為4個層級。第1等級是傳統(tǒng)的2D顯示屏：只能產(chǎn)生仿射、遮擋、光照陰影、紋理、先驗(yàn)知識五方面的心理視覺暗示，從而“欺騙”大腦產(chǎn)生偽3D視覺。第2等級是眼鏡式3D電影：能提供部分生理視覺信息（雙目視差），但缺少移動視差和聚焦模糊。第3等級是VR頭盔：具有更多的生理視覺信息，能同時提供雙目視差和移動視差，但仍然缺乏聚焦模糊。第4等級是光場顯示：能提供所有的心理和生理視覺信息，可以在視覺上逼真重現(xiàn)真實(shí)世界。

1、人眼的立體成像機(jī)理

1.1 心理感知

眾所周知，人眼能感知到遠(yuǎn)近深度信息的一個重要方面是因?yàn)槲覀儞碛袃芍谎劬?#xff0c;從而可以從雙目視差中判斷物體深度。然而雙目視差并不是我們感知三維世界的唯一途徑。人眼對三維環(huán)境的感知主要可以分為心理感知和生理感知。其中心理感知主要是通過仿射、遮擋、光照陰影、紋理、先驗(yàn)知識五方面的視覺暗示[1,2]，從而“欺騙”大腦感知到三維信息，如圖1所示，盡管是在平面上繪圖卻能產(chǎn)生一定的三維視覺。

圖 1. 人眼感知深度的心理暗示信息

（1）仿射：其直觀的感受是“近大遠(yuǎn)小”，隨著物體與人眼的距離減小，物體在人眼的成像越大。

（2）遮擋：更近的物體會遮擋更遠(yuǎn)的物體，通過相互遮擋關(guān)系可以判斷物體間的相對遠(yuǎn)近關(guān)系。

（3）光照陰影：不同方向的光照會在物體表面產(chǎn)生不同的陰影，通過對陰影模式的判斷可以推斷物體的三維形狀。

（4）紋理：通過有規(guī)律重復(fù)的動/靜態(tài)特征分布產(chǎn)生立體視覺。

（5）先驗(yàn)知識：人類在觀看大量物體以后會總結(jié)一些基本的經(jīng)驗(yàn)，例如天空中的飛機(jī)和風(fēng)箏都非常小，但飛機(jī)比風(fēng)箏距離人眼更遠(yuǎn)。

1.2 生理感知

上述五種心理感知上的立體視覺通過平面介質(zhì)即可呈現(xiàn)，例如手機(jī)屏幕、電視屏幕、畫布等。然而立體視覺的生理感知需要對人眼產(chǎn)生特殊的視覺刺激，無法通過2D平面介質(zhì)呈現(xiàn)。立體視覺的生理感知主要包括雙目視差、移動視差、聚焦模糊[3]，分述如下。

（1）雙目視差（binocular parallax）：如圖2所示，視差即同一個物體在左右眼中所成的像之間的輕微偏差。所觀察的物體越近，則視差越大。所觀察的物體越遠(yuǎn)，則視差越小。為了避免左右眼視差所產(chǎn)生的重影，人眼會動態(tài)的調(diào)節(jié)視線的匯聚方向。當(dāng)我們觀看漫天繁星時，雙眼的視線方向幾乎平行，當(dāng)我們觀察自己的鼻尖時，雙眼的視線方向會相交于鼻尖，通過雙眼匯聚的角度可以判斷物體的遠(yuǎn)近。雙目視差的感知必須依靠雙目協(xié)同工作才能完成。

圖 2. 生理視覺信息（雙目視差與雙目匯聚）

（2）移動視差（motion parallax）：如圖3所示，當(dāng)遠(yuǎn)近不同的物體在空間中移動時，在人眼中產(chǎn)生的位移會不同。當(dāng)發(fā)生同樣的空間移動時，遠(yuǎn)處的物體在人眼中產(chǎn)生的位移更小，近處的物體在人眼中產(chǎn)生的位移更大。例如當(dāng)我們在移動的汽車上觀看窗外的風(fēng)景時，近處的樹木總是飛快的向后移動，而遠(yuǎn)處的高山卻移動緩慢。與雙目視差不同，單眼就可以感知到移動視差。例如鴿子雖然有雙眼，但是兩只眼睛位于頭部的兩側(cè)，雙眼的視野范圍并不重合，因此鴿子無法依靠雙目視差來感知深度。鴿子主要依靠移動視差來判斷物體遠(yuǎn)近，從而完成著陸和啄食等動作。

圖 3. 生理視覺信息（移動視差）

（3）聚焦模糊（Accommodation）：如圖4所示，人眼的睫狀肌扮演著相機(jī)鏡頭的調(diào)焦功能，從而使聚焦平面上的物體清晰成像，非聚焦平面的物體成像模糊。如圖4所示，當(dāng)睫狀肌緊繃時，人眼聚焦在近處平面。當(dāng)睫狀肌舒張時，人眼聚焦在遠(yuǎn)處平面。單眼即可感知到聚焦模糊。當(dāng)我們舉起大拇指，用單眼去觀察大拇指上的指甲蓋紋理時，門口的盆栽以及墻上的油畫變得模糊了。當(dāng)我們用單眼試圖看清盆栽或者油畫時，大拇指卻模糊了。根據(jù)睫狀肌的屈張程度和對應(yīng)的聚焦模糊反饋，視覺系統(tǒng)可以判斷出物體的相對遠(yuǎn)近。

圖 4. 生理視覺信息（聚焦模糊）

2、如何滿足人眼的視覺要求？

2.1 傳統(tǒng)顯示屏

從黑白到彩色，從CRT到LCD/OLED，從720p到4K，顯示設(shè)備的色彩還原度和分辨率在不斷的提高，然而卻始終沒有顯示維度的突破。根據(jù)7D全光函數(shù)的描述，目前的2D顯示屏可以在（x, y）位置顯示不同的像素。但每個像素在可視角度（一般為120度）范圍內(nèi)不同的方向發(fā)出的光線卻是近似相同（或同向衰減）。因此2D顯示屏只能提供各向同性的光線，不能呈現(xiàn)光線的方向信息（θ, Φ），如圖5所示。換句話說，傳統(tǒng)顯示屏只能呈現(xiàn)（x, y, λ, t）四個維度的信息，只能提供上述仿射、遮擋、光照陰影、紋理、先驗(yàn)知識這五種心理感知信息。然而對于雙目視差、移動視差、聚焦模糊三方面的生理感知卻無能為力。首先、左右眼從顯示屏接收到的圖像完全一樣，因此不能產(chǎn)生雙目視差。其次、當(dāng)人眼在屏幕前左右移動時，顯示屏所呈現(xiàn)的內(nèi)容會產(chǎn)生相同的位移，因此無法提供移動視差。最后，顯示屏上所有像素的實(shí)際發(fā)光位置到人眼的距離都是一致的，并不會引起人眼睫狀肌的屈張，所以顯示屏無法提供動態(tài)聚焦。

圖 5. 傳統(tǒng)2D顯示器各向同性光學(xué)特性

2.2 3D電影

3D電影除了提供傳統(tǒng)顯示屏的心理視覺感知信息，還能提供雙目視差這一生理視覺感知信息。如圖6所示，3D電影通過一副立體眼鏡將兩幅具有細(xì)微偏差的圖像分別呈現(xiàn)給左右眼（當(dāng)取下立體眼鏡，直視大屏?xí)r會看到兩幅重疊的圖像），讓人眼感知到雙目視差，進(jìn)而讓大腦融合左右眼圖像產(chǎn)生三維信息。立體眼鏡的工作原理又包括分光式、偏振式、快門式三種，這里不再展開討論。然而，3D電影只提供了雙目視差這一種生理視覺信息，并不能提供移動視差和聚焦模糊。舉個例子，如果是一場真人話劇，左側(cè)的觀眾應(yīng)該看到演員的右側(cè)臉；而右側(cè)的觀眾應(yīng)該看到演員的左側(cè)臉。然而在3D電影院中，左側(cè)和右側(cè)的觀眾看到的都是演員的同一個側(cè)臉。即使觀眾戴著立體眼鏡跑動到電影院的任一位置，所看到的仍然是同一個視點(diǎn)。換句話說，3D電影院呈現(xiàn)的圖像并不會因?yàn)橛^看位置的移動而更新視點(diǎn)圖像。由于缺乏移動視差和聚焦模糊，觀看3D電影時雙目視差告訴大腦看到了3D場景，而移動視差和聚焦模糊又告訴大腦看到了2D場景，大腦會在3D和2D這兩種狀態(tài)之間不停的切換。由于雙目視差與移動視差和聚焦模糊之間的沖突，從而導(dǎo)致“燒腦”。這也是大部分人群第一次體驗(yàn)3D電影時會產(chǎn)生不適感的主要原因。當(dāng)大腦適應(yīng)這種相互沖突的3D視覺后，不適感會明顯減輕，但是所體驗(yàn)的視覺效果還是無法與真實(shí)三維世界相媲美。

圖 6. 3D電影產(chǎn)生立體視覺原理

2.3 虛擬現(xiàn)實(shí)（VR/AR）

虛擬現(xiàn)實(shí)（Virtual Reality，VR/AR/MR都在本文討論范圍內(nèi)）頭盔屬于頭戴顯示設(shè)備（HMD，Head Mounted Display）的一種[4,5]。相比3D電影，虛擬現(xiàn)實(shí)頭盔不僅能提供雙目視差，還能提供移動視差，從而帶來更豐富逼真的立體視覺體驗(yàn)。虛擬現(xiàn)實(shí)頭盔主要利用準(zhǔn)直放大透鏡（Collimating Lens）將眼前的顯示屏圖像放大并拉遠(yuǎn)。如圖7所示，虛擬現(xiàn)實(shí)頭盔的顯示屏與透鏡光心的距離略小于透鏡焦距，屏幕上某一真實(shí)像素發(fā)出的光線經(jīng)透鏡折射進(jìn)入人眼，沿著折射后光線的反向延長方向，人眼將感知到較遠(yuǎn)處的虛擬像素。同樣的兩套準(zhǔn)直放大光學(xué)顯示系統(tǒng)分別為左右眼提供不同的圖像。

?

圖 7. 虛擬現(xiàn)實(shí)頭盔準(zhǔn)直放大光路示意圖

相比于3D電影院，VR頭盔最大的改進(jìn)之處在于它能提供移動視差。當(dāng)人眼移動到不同的位置或旋轉(zhuǎn)到不同的方向時，VR頭盔會提供不同視點(diǎn)的圖像。仍然以觀看演員為例，在3D電影院中無論觀眾移動到任何位置或旋轉(zhuǎn)到任意方向，所看到的都是演員的同一個側(cè)臉。而在VR中，隨著觀眾的移動，可以看到演員的左側(cè)臉、右側(cè)臉、下巴等不同的視點(diǎn)。正是由于VR所提供的移動視差，使得觀眾從導(dǎo)演預(yù)先設(shè)定的觀看視角中脫離出來，可以從自己喜歡的角度去觀察。這是VR能夠提供強(qiáng)烈沉浸感的主要原因之一。

那么VR頭盔是不是就能在視覺上完美地重現(xiàn)真實(shí)三維世界呢？ 答案是：還差一個關(guān)鍵要素，那就是聚焦模糊。VR頭盔能同時提供雙目視差和移動視差，但目前在售的VR頭盔中都不能提供聚焦模糊（Accommodation）。VR頭盔中使用的顯示屏與主流手機(jī)使用的顯示屏都屬于LCD/OLED范疇。舉個例子，真實(shí)環(huán)境中人眼看到遠(yuǎn)處的高山和近處的人物是分別接收了從遠(yuǎn)近不同地方發(fā)出的光線。然而VR屏幕中出現(xiàn)的高山和人物都是從距離人眼相同距離的顯示屏上發(fā)出的光線。無論人眼聚焦在“遠(yuǎn)處”的高山還是“近處”的人物，睫狀肌都是處于相同的屈張程度，這與人眼觀看實(shí)際風(fēng)景時的聚焦模糊狀態(tài)是不相符的[6,7]。

引起VR眩暈主要有兩方面的原因：（1）運(yùn)動感知與視覺感知之間的沖突；（2）視覺感知中雙目視差與聚焦模糊之間的沖突；詳述如下。

人體主要依靠前庭、本體感覺、視覺三方面的感知途徑綜合推斷出人體的位置、運(yùn)動狀態(tài)、姿態(tài)等信息。一方面，人耳的前庭內(nèi)有3個半規(guī)管，每個半規(guī)管就像半瓶水一樣；當(dāng)人體運(yùn)動時，前庭內(nèi)的“半瓶水”就會晃動，再加上本體感覺的信息，大腦從而推斷出目前的運(yùn)動加速度和姿態(tài)。另一方面，人眼視覺能感知周邊三維環(huán)境，從而反向推斷出目前自身的位置等信息，類似與SLAM的工作原理[8]。在早期的VR設(shè)備中，由于定位精度、渲染速度，顯示屏刷新頻率等技術(shù)的限制，當(dāng)身體移動時，VR頭盔呈現(xiàn)畫面并不準(zhǔn)確和及時。例如在VR中“走獨(dú)木橋”，身體已經(jīng)移動而雙目圖像并未及時更新，此時前庭和本體感覺告訴大腦身體已經(jīng)移動，而VR視覺告訴大腦身體沒有移動，從而導(dǎo)致大腦產(chǎn)生困惑，這可以總結(jié)為“身已動，而畫面未動”。再例如在VR中“坐過山車”，雙目圖像快速的切換讓大腦以為身體在快速的上下移動，而實(shí)際上身體卻是靜止的坐在椅子上，會導(dǎo)致大腦產(chǎn)生困惑，這可以總結(jié)為“畫面已動，而身未動”。隨著VR設(shè)備在屏幕刷新率的提高、移動端圖像渲染幀率的提升、交互定位精度的提高，以及萬向跑步機(jī)和體感椅的出現(xiàn)，引起VR眩暈的第（1）方面原因已經(jīng)得到大幅緩解。

第（2）方面原因引起的VR眩暈才是當(dāng)前亟待解決的主要問題。VR頭盔佩戴者始終聚焦在一個固定距離的虛擬屏幕上，而不能隨著虛擬顯示物體的遠(yuǎn)近重聚焦（refocus）。例如通過VR頭盔觀看遠(yuǎn)處的高山時，人眼通過雙目視差感知到高山很遠(yuǎn)，但人眼并沒有實(shí)際聚焦到那么遠(yuǎn)。類似的，當(dāng)通過VR頭盔觀看近處的人物時，人眼仍然聚焦在虛擬屏幕上，與雙目視差所呈現(xiàn)的人物距離不符。由于雙目視差和聚焦模糊所呈現(xiàn)的遠(yuǎn)近距離不同，從而導(dǎo)致大腦產(chǎn)生深度感知沖突，進(jìn)而引起視覺疲勞[9]。這種現(xiàn)象在學(xué)術(shù)上稱為ACC或者AVC（Accommodation-Convergence Conflics, Accommodation-Vergence Conflics）[10,11,12]。與此同時，目前VR頭盔的呈像平面為固定焦距，長期佩戴存在引起近視的潛在風(fēng)險(xiǎn)。如果希望VR取代手機(jī)成為下一代移動計(jì)算平臺，首先就需要解決VR設(shè)備長時間安全使用的問題。目前來看，光場顯示是解決這一問題的最佳方案之一。

2.4 光場顯示

光場顯示包含全光函數(shù)中所有維度的光線信息，可以提供上述所有的心理視覺感知信息和生理視覺感知信息。目前光場顯示主要有：體三維顯示（Volumetric 3D Display）、多視投影陣列（Multi-view Projector Array）、集成成像（Integral Imaging）、數(shù)字全息、多層液晶張量顯示等多種技術(shù)方案。《Mars說光場（4）— 光場顯示》會進(jìn)一步分析光場顯示技術(shù)的實(shí)現(xiàn)原理。

隨著顯示技術(shù)的演進(jìn)，顯示設(shè)備能提供越來越豐富的視覺感知信息。根據(jù)所能呈現(xiàn)的視覺信息，可以將顯示設(shè)備分為4個等級，如圖8所示。2D平面顯示只能提供心理視覺信息來“欺騙”大腦產(chǎn)生三維立體視覺，屬于第1等級。眼鏡式3D電影不僅能提供心理視覺信息，還能提供部分生理視覺信息（雙目視差），屬于第2等級。現(xiàn)階段的VR/AR/MR頭盔在眼鏡式3D電影的基礎(chǔ)上進(jìn)一步增加了移動視差，屬于第3等級。光場是終極顯示方式，能提供所有的心理和生理視覺信息，屬于第4等級。

圖 8. 不同等級顯示技術(shù)所能提供的視覺信息范疇

??

[1] Geng J.Three-dimensional display technologies[J]. Advances in Optics and Photonics,2013, 5(4): 456-535.

[2] B. Blundell and A. Schwarz, Volumetric Three Dimensional Display System

(Wiley, 2000).

[3] T. Okoshi, Three-Dimensional Imaging Techniques (Academic, 1976).

[4] O. Cakmakci and J. Rolland, “Head-worn displays: a review,” J. Disp. Technol. 2, 199–216 (2006).

[5] D. Cheng, Y. Wang, H. Hua, and M. M. Talha, “Design of an optical see-through headmounted display with a low f-number and large field of view using a free-form prism,” Appl. Opt. 48, 2655–2668 (2009).

[6] T. Inoue and H. Ohzu, ―Accommodation responses to stereoscopic three-dimensional display,‖ Appl. Opt., vol. 36, 4509-4515 (1997)

[7] Vienne C, Sorin L, Blondé L, et al. Effect of the accommodation-vergence conflict on vergence eye movements[J]. Vision Research, 2014, 100:124-133.

[8] Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-Time Single Camera SLAM[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2007, 29(6):1052-1067.

[9] D. M. Hoffman, A. R. Girshick, K. Akeley, and M. S. Banks, “Vergence–accommodation conflicts hinder visual performance and cause visual fatigue,” J. Vis. 8(3):33, 1–30 (2008).

[10] Mackenzie K J, Watt S J. Eliminating accommodation-convergence conflicts in stereoscopic displays: Can multiple-focal-plane displays elicit continuous and consistent vergence and accommodation responses?[J]. Proceedings of SPIE, The International Society for Optical Engineering, 2010, 7524:752417-752417-10.

[11] Hoffman D M, Banks M S. Disparity scaling in the presence of accommodation-vergence conflict[J]. Journal of Vision, 2010, 7(9):824.

[12] Takaki Y. Generation of natural three-dimensional image by directional display: Solving accommodation-vergence conflict[J]. Ieice Technical Report Electronic Information Displays, 2006, 106:21-26.

?

總結(jié)

以上是生活随笔為你收集整理的Mars说光场（2）— 光场与人眼立体成像机理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。