非视距成像：硬件设备总结
(本文參考Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.總結(jié)而來。主要改動是添加了相關(guān)文獻(xiàn)。更加詳細(xì)的信息參考原文)
本文主要總結(jié)非視距成像研究主要使用的硬件設(shè)備，包括下面五類, 分類方法參考文獻(xiàn)[1]
1. 條紋相機(jī) + 脈沖激光器
2. 單光子雪崩二極管 + 脈沖激光器
3. 幅度連續(xù)調(diào)制ToF相機(jī)+調(diào)制光源
4. 傳統(tǒng)相機(jī)(CCD/CMOS)
5. 干涉儀
?
1.?條紋相機(jī) + 脈沖激光器
條紋相機(jī)是同時具備超高時間分辨與高空間分辨的唯一高端科學(xué)測量與診斷儀器——它把時間到來的先后順序轉(zhuǎn)換成空間進(jìn)行判斷，根據(jù)空間位置窺探瞬態(tài)過程。
因此，其優(yōu)點包括：
- 高時間分辨率(ps~fs級，甚至能夠達(dá)到100 fs)[1]
- 高空間分辨率: 可達(dá)0.03 mm
但缺點也很多：
- 價格昂貴(50萬RMB+)
- 光子探測效率低；
- 高噪聲水平；
- 需要掃描或其他的光學(xué)器件
高價格成本和高時間成本導(dǎo)致使用條紋相機(jī)的NLOS研究不是很多，主要集中在2015年之前，經(jīng)典的包括：
Kirmani, A. et al. (2011) ‘Looking around the corner using ultrafast transient imaging’, International journal of computer vision, 95(1), pp. 13–28.
Velten, A. et al. (2012) ‘Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging’, Nature communications, 3, p. 745.
2. 單光子雪崩二極管 + 脈沖激光器
SPAD是一種具有單光子探測能力的光電探測雪崩二極管。[3]
優(yōu)點：
- 有成為2D陣列的潛力，從而省去掃描時間，大大提高數(shù)據(jù)獲取速度；
- 光子探測效率高
特點：
- 時間分辨率較高:20-100ps;
- 空間分辨率較高:6-30mm;
- 價格較高(19萬RMB左右)
包括SPAD sensor和時間相關(guān)單光子計數(shù)器兩個部分，目前制造商主要是PicoQuant.
可見，SPAD + Pulsed Laser的方法發(fā)展前景好，各方面都較好，因此使用SPAD進(jìn)行3D NLOS imaging的研究非常多，經(jīng)典的包括：
Buttafava, M. et al. (2015) ‘Non-line-of-sight imaging using a time-gated single photon avalanche diode’, Optics express, 23(16), pp. 20997–21011.
Tsai, C.-Y. et al. (2017) ‘The geometry of first-returning photons for non-line-of-sight imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7216–7224.
O’Toole, M. et al.(2018) ‘Confocal non-line-of-sight imaging based on the light-cone transform’, Nature, 555(7696), p. 338.
Ahn, B. et al. (2019) ‘Convolutional approximations to the general non-line-of-sight imaging operator’, in The IEEE international conference on computer vision (ICCV).
Lindell, D. B., Wetzstein, G. and O’Toole, M. (2019) ‘Wave-based non-line-of-sight imaging using fast f-k migration’, ACM Trans. Graph. (SIGGRAPH), 38(4), p. 116.
Tsai, C.-Y. et al.(2019) ‘Beyond Volumetric Albedo–A Surface Optimization Framework for Non-Line-Of-Sight Imaging’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1545–1555.
Musarra, G. et al. (2019) ‘Non-line-of-sight 3D imaging with a single-pixel camera’, Phys. Rev. Applied, 12(1), p. 6.
Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
Iseringhausen et al.(2020) ‘Non-line-of-sight reconstruction using efficient transient rendering’, ACM Trans. Graph., 39(1).
等
?
3. 幅度連續(xù)調(diào)制ToF相機(jī)+調(diào)制光源
優(yōu)點：
- 成本更低：3萬RMB左右
缺點：
- 需要曝光時間長，因此對環(huán)境光敏感；
特點：
- 空間分辨率: 1 mm左右
這種相機(jī)已經(jīng)在Microsoft Kinect 和?Photonic Mixer Device (PMD)等上進(jìn)行了商用。
使用這種設(shè)備的研究也不多，但也有幾篇比較有影響力，如：
Heide, F. et al. (2014) ‘Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors’, in 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
Kadambi, A. et al. (2016) ‘Occluded imaging with time-of-flight sensors’, ACM Transactions on Graphics (ToG), 35(2), pp. 1–12.
?
4. 傳統(tǒng)相機(jī)(CCD/CMOS)
傳統(tǒng)相機(jī)就是指使用CCD和CMOS陣列的成像設(shè)備。
CCD 是指電荷耦合器件，是一種用電荷量表示信號大小，用耦合方式傳輸信號的探測元件，具有自掃描、感受波譜范圍寬、畸變小、體積小、重量輕、系統(tǒng)噪聲低、功耗小、壽命長、可靠性高等一系列優(yōu)點，并可做成集成度非常高的組合件。電荷耦合器件(CCD)是20世紀(jì)70年代初發(fā)展起來的一種新型半導(dǎo)體器件。CCD廣泛應(yīng)用在數(shù)碼攝影、天文學(xué)，尤其是光學(xué)遙測技術(shù)、光學(xué)與頻譜望遠(yuǎn)鏡和高速攝影技術(shù)，如Lucky imaging。CCD在攝像機(jī)、數(shù)碼相機(jī)和掃描儀中應(yīng)用廣泛，只不過攝像機(jī)中使用的是點陣CCD，即包括x、y兩個方向用于攝取平面圖像，而掃描儀中使用的是線性CCD，它只有x一個方向，y方向掃描由掃描儀的機(jī)械裝置來完成[4]。
CMOS制造工藝也被應(yīng)用于制作數(shù)碼影像器材的感光元件（常見的有CCD和CMOS），尤其C是片幅規(guī)格較大的單反數(shù)碼相機(jī)。再透過芯片上的模數(shù)轉(zhuǎn)換器（ADC）將獲得的影像訊號轉(zhuǎn)變?yōu)閿?shù)字信號輸出。
CCD與CMOS圖像傳感器光電轉(zhuǎn)換的原理相同，他們最主要的差別在于信號的讀出過程不同；由于CCD僅有一個（或少數(shù)幾個）輸出節(jié)點統(tǒng)一讀出，其信號輸出的一致性非常好；而CMOS芯片中，每個像素都有各自的信號放大器，各自進(jìn)行電荷-電壓的轉(zhuǎn)換，其信號輸出的一致性較差。但是CCD為了讀出整幅圖像信號，要求輸出放大器的信號帶寬較寬，而在CMOS 芯片中，每個像元中的放大器的帶寬要求較低，大大降低了芯片的功耗，這就是CMOS芯片功耗比CCD要低的主要原因。盡管降低了功耗，但是數(shù)以百萬的放大器的不一致性卻帶來了更高的固定噪聲，這又是CMOS相對CCD的固有劣勢。[5]
傳統(tǒng)相機(jī)能夠測出輻照度，因此能夠進(jìn)行強(qiáng)度和光斑的測量。傳統(tǒng)相機(jī)一般是不含有ToF信息的，但通過和diffuser結(jié)合能夠提供被動的ToF信息[6]。
傳統(tǒng)相機(jī)無疑是所有設(shè)備中最便宜的一種。它常常用于passive NLOS imaging，相關(guān)論文主要包括：
Tancik, M., Satat, G. and Raskar, R. (2018) ‘Flash photography for data-driven hidden scene recovery’, CoRR, abs/1810.11710.
Aittala, M. et al. (2019) ‘Computational Mirrors: Blind Inverse Light Transport by Deep Matrix Factorization’, in Advances in Neural Information Processing Systems, pp. 14311–14321.
Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.
Saunders, C., et al. (2019) ‘Computational periscopy with an ordinary digital camera’, Nature, 565(7740), pp. 472–475
5. 干涉儀
多個光波之間的干涉能夠提供深度信息。
分辨率：um量級；
例如2019CVPR best paper里就通過具有時間和空間上不相干的LED的光學(xué)相干斷層掃描系統(tǒng)重建出μm量級的硬幣[7]。
缺點：
- 儀器敏感、精密，需要控制誤差；
- 商業(yè)上很難買到。
相關(guān)的論文并不多，主要包括：
Willomitzer, F. et al. (2018) ‘Non-line-of-sight imaging using superheterodyne interferometry’, in Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP). Optical Society of America (Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP)), p. CM2E.1. doi: 10.1364/COSI.2018.CM2E.1.
Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.(在Femtosecond-scaleexperiments中使用)
?
?
[1].?Maeda, T. et al. (2019) ‘Recent advances in imaging around corners’, arXiv preprint arXiv:1910.05613.
[2].?條紋照相機(jī)_百度百科 (no date). Available at: https://baike.baidu.com/item/%E6%9D%A1%E7%BA%B9%E7%85%A7%E7%9B%B8%E6%9C%BA/17649081 (Accessed: 4 July 2020).
[3].SPAD（單光子雪崩二極管）_百度百科 (no date). Available at: https://baike.baidu.com/item/SPAD/22722258#viewPageContent (Accessed: 4 July 2020).
[4]CCD（電荷耦合元件）_百度百科 (no date). Available at: https://baike.baidu.com/item/CCD/362160 (Accessed: 5 July 2020).
[5]CMOS_百度百科 (no date). Available at: https://baike.baidu.com/item/CMOS#2 (Accessed: 5 July 2020).
[6]Boger-Lombard, J. and Katz, O. (2019) ‘Passive optical time-of-flight for non line-of-sight localization’, Nature Communications, 10(1), p. 3343.
[7]Xin, S. et al. (2019) ‘A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction’, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
總結(jié)
以上是生活随笔為你收集整理的非视距成像：硬件设备总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 有 4 件事，我很后悔
- 下一篇： 2d运用 - 3d 视距