TOF摄像机可以替代Flash激光雷达吗?
TOF攝像機(jī)可以替代Flash激光雷達(dá)嗎?
一.基于ToF技術(shù)的Flash激光雷達(dá)
基本成像原理上ToF Camera與LiDAR相同,都采用飛行時間測距技術(shù)(包括利用APD或SPAD的直接測距法,和相干波調(diào)制的間接測量法)。不同之處在于應(yīng)用的場景、結(jié)構(gòu)設(shè)計和發(fā)射光波長存在不同。
洛倫茲I系列產(chǎn)品采用ToF測距原理,激光工作波長850nm,最遠(yuǎn)可以探測到50m,視場角達(dá)60°x 45°,可輸出QVGA(320 x 240)尺寸的深度圖、灰度圖及點(diǎn)云圖,最高幀速可達(dá)120FPS,測距精度為2cm或1%;配置千兆以太網(wǎng)(數(shù)據(jù)/命令)+CAN(命令)接口,TCP/IP協(xié)議傳輸,適用于各類操作系統(tǒng)。
I系列特點(diǎn):
-
測量距離遠(yuǎn):最遠(yuǎn)可以探測到50m;
-
抗強(qiáng)光干擾:可在正午陽光下超過100kLux下工作;
-
高可靠性及環(huán)境適應(yīng)性:使用壽命超過10000小時;工作溫度-40℃~85℃;防水、防塵、防鹽霧、避雷,適合在復(fù)雜環(huán)境應(yīng)用;
-
多機(jī)協(xié)同工作:具備多機(jī)協(xié)同工作的能力,避免相互干擾。
I系列應(yīng)用:
-
各類低速車輛:物流車、環(huán)衛(wèi)車、接駁車、AGV等;
-
各類機(jī)器人:服務(wù)機(jī)器人、倉儲機(jī)器人、特種機(jī)器人等;
-
安防監(jiān)控:周界防護(hù)、入侵監(jiān)測、人員計數(shù)、定位和跟蹤等;
-
還可用于包裹箱體尺寸測量、交通路測等。
-
二.TOF攝像機(jī)與Flash激光雷達(dá)基本特性
TOF相機(jī)即Time to Flight相機(jī),從原理上講與Flash激光雷達(dá)完全一致,沒有任何區(qū)別,TOF相機(jī)更多時候被稱為深度相機(jī)或3D相機(jī)。
Flash激光雷達(dá)又叫焦平面成像激光雷達(dá)。
實(shí)際TOF相機(jī)與傳統(tǒng)機(jī)械掃描激光雷達(dá)也差不多,傳統(tǒng)機(jī)械掃描激光雷達(dá)是逐點(diǎn)掃描成像,而TOF是一次照射成像。
TOF相機(jī)與激光雷達(dá)的區(qū)別只是應(yīng)用范圍的差別,目前大多數(shù)TOF相機(jī)用在手機(jī)等近距離(2米以內(nèi))領(lǐng)域,汽車用激光雷達(dá)則在(0.2-250米之間)。
再有就是機(jī)械掃描激光雷達(dá)是360度覆蓋的,TOF相機(jī)一般水平FOV為55度。
與傳統(tǒng)相機(jī)比,TOF相機(jī)是主動發(fā)射激光,激光到達(dá)物體表面返回,被激光雷達(dá)的光電接收二極管接收到。
根據(jù)光速或相位計算光源與目標(biāo)之間的距離,最終形成深度圖像。
傳統(tǒng)相機(jī)是自然光線到達(dá)物體表面返回到傳統(tǒng)相機(jī)傳感器里的光電二極管內(nèi),根據(jù)反射光的強(qiáng)度最終形成圖像。
TOF相機(jī)原理與激光雷達(dá)無絲毫區(qū)別
三.TOF攝像機(jī)比Flash激光雷達(dá)優(yōu)勢
-
TOF相機(jī)相比激光雷達(dá)優(yōu)勢非常明顯,最大的優(yōu)勢是體積和成本,TOF相機(jī)體積可以很小,與普通相機(jī)沒有區(qū)別,TOF相機(jī)集成度高,可以用半導(dǎo)體工藝制造,在芯片上集成圖像傳感器陣列(Image Sensor Array)、讀出電路(Read-Out)和鏡頭。再配合VCSEL發(fā)射激光,整套系統(tǒng)理論成本和手機(jī)上的TOF相機(jī)一樣,不超過30美元。
-
其他優(yōu)點(diǎn)還有:刷新頻率高,線掃描激光雷達(dá)刷新頻率一般是5-10Hz,Flash激光雷達(dá)可以輕易做到KHz。
-
讀出電路簡單(就是一個積分電路可集成在傳感器新品內(nèi)),算力需求極低,無需昂貴的GPU或FPGA做運(yùn)算單元。
-
分辨率高,目前量產(chǎn)的TOF相機(jī),如松下的像素為640*480,水平FOV為55度,垂直FOV為41度,10Hz的話也就是每秒300萬點(diǎn),而Velodyne的64線激光雷達(dá)每秒130萬點(diǎn),但這是360度掃描的,如果只是55度,那么只有大約20萬點(diǎn),遠(yuǎn)低于TOF相機(jī),TOF相機(jī)相當(dāng)于960線激光雷達(dá)。而最新的TOF相機(jī)已經(jīng)達(dá)到100萬像素,也就是大約3168線激光雷達(dá)。
上圖為松下TOF相機(jī)的參數(shù),松下的TOF相機(jī)可以輸出深度圖像、RGB圖像和NIR圖像。不過有效距離應(yīng)該不超過4.5米。
四.產(chǎn)品及應(yīng)用
傳統(tǒng)解決有效距離的方法是使用單光子接收光電二極管,傳統(tǒng)激光雷達(dá)接收光電二極管是APD。APD即雪崩二極管有兩種工作模式,一種是雪崩模式,或者叫線性模式,另一種叫蓋革模式,也就是單光子探測模式(Single Photon Diode SPD)。
在蓋革模式下,雪崩二極管接收到一個光子的話,就會發(fā)生雪崩現(xiàn)象,使電流達(dá)到最大值,這個過程一般是瞬態(tài)的(一般不到1ps),這樣就可以在極短的時間內(nèi)對光子進(jìn)行計數(shù)。
利用TDC(時間數(shù)字轉(zhuǎn)換器,一種積分成像技術(shù),包含TAC和ADC兩步)可以直接生成3D數(shù)字圖像信號。
缺點(diǎn)是高功率的SPAD一般需要用1550納米的InGaAs/InP工藝的APD,而這種APD成本比較高。不過擁躉依然不少,典型代表是德國大陸汽車、IBEO ZF、Ouster、Argo和豐田。
2016 年9月,前 Google 員工 Salesky 和前 Uber 員工Peter
Rander 聯(lián)合創(chuàng)辦了 Argo AI。2017年2月,福特公司10 億美元注資 Argo
AI。Argo得到福特資金支持后,立刻展開收購,2017年10月,ArgoAI 收購了激光雷達(dá)初創(chuàng)公司Princeton Lightwave,具體交易額不詳,估計在1億美元上下。PrincetonLightwave源自知名的普林斯頓大學(xué),2000年成立,主要方向測繪領(lǐng)域的單光子激光雷達(dá),2016年才開始進(jìn)軍汽車領(lǐng)域。
PrincetonLightwave雖源自普林斯頓大學(xué),但其技術(shù)來源是MIT的林肯實(shí)驗(yàn)室,全球最頂尖的單光子激光雷達(dá)實(shí)驗(yàn)室。2014年林肯實(shí)驗(yàn)室將單光子激光雷達(dá)技術(shù)授權(quán)給兩家公司,一家是波音旗下的Spectrolab,另一家就是Princeton Lightwave。波音-西科斯基將單光子激光雷達(dá)用在美軍下一代直升機(jī)上。 豐田早在2010年就開始研發(fā)單光子激光雷達(dá),2014年和2015年均有產(chǎn)品問世。
豐田早在2010年就開始研發(fā)單光子激光雷達(dá),2014年和2015年均有產(chǎn)品問世。
盡管在2017年豐田TRI投資了Luminar,但這并不意味著豐田放棄了單光子,在2017年底,豐田中央研究院發(fā)表了有關(guān)單光子激光雷達(dá)的論文SPAD DCNN:
Localization with Small Imaging LIDAR andDCNN,文中低調(diào)地提到了豐田的第三代單光子激光雷達(dá)。
IBEO的固態(tài)激光雷達(dá)核心也是VCSEL和SPAD。
相對微機(jī)械和MEMS,IBEO的可靠性和靈活性要高得多,相對無法掃描的Flash激光雷達(dá)也有一定優(yōu)勢。
相對微機(jī)械和MEMS,IBEO的可靠性和靈活性要高得多,相對無法掃描的Flash激光雷達(dá)也有一定優(yōu)勢。
IBEO的單光子激光雷達(dá)能輸出點(diǎn)云和反射強(qiáng)度信息,部分Flash可能無法輸出反射強(qiáng)度信息。
IBEO稱之為 ibeoNEXT Generic 4D Solid State LiDAR。水平FOV可選擇11.2度、60度和120度。稱之4D是反射強(qiáng)度信息,反射強(qiáng)度信息近似于傳統(tǒng)攝像頭的灰度圖像,可以用傳統(tǒng)的圖像識別算法分類。 2019年8月27日,WEY品牌母公司長城汽車與激光雷達(dá)廠商Ibeo、北京亮道正式簽署了激光雷達(dá)技術(shù)戰(zhàn)略合作協(xié)議,三方合作的產(chǎn)品基礎(chǔ)就是
ibeoNEXT Generic 4D Solid State LiDAR。 SPAD不僅擁有遠(yuǎn)距離,還擁有高信噪比、高人眼安全和高分辨率優(yōu)勢。對于傳感器來說,信噪比是最重要的參數(shù)之一。非相干激光雷達(dá)的信噪比SNR方程可以表示為:
從上面公式可以看出,要提高信噪比,最簡單有效的方法是提高接收信號光功率和量子效率。單光子或者說蓋革模式下的的APD其量子效率是機(jī)械旋轉(zhuǎn)雷達(dá)用的硅PIN二極管的數(shù)百乃至上千倍。
要提升功率,就不得不考慮人眼安全,對于常用的905納米來說是不合適的,只有1550納米的InGaAs,和905納米的硅光電探測器相比,要安全上千倍,,可以毫無顧慮地加大激光器的功率。固態(tài)激光雷達(dá)領(lǐng)域知名的Luminar就是以使用1550納米的InGaAs為特色的,其使用的激光器的功率是傳統(tǒng)硅光電系統(tǒng)的40倍,不僅提高信噪比,減小脈沖寬度至20納秒以下,脈沖重復(fù)頻率低于100MHz,占空比低于1%。同時提升了有效距離,在雨雪霧天,物體的反射率會降低,導(dǎo)致激光雷達(dá)有效距離縮短,不過加大功率,就可以解決這個問題,Luminar就是這么做的,Luminar強(qiáng)調(diào)即使10%反射率的物體,有效距離也可以達(dá)200米。
關(guān)于激光功率的放大,Luminar申請了專利。其專利是用二級大模場摻鉺光纖(EDFA)放大器將一個種子源激光調(diào)制為一個脈沖寬度至20納秒以下,脈沖重復(fù)頻率低于100MHz,占空比低于1%的脈沖激光系統(tǒng)。Luminar的專利核心一個是種子源激光,另一個是摻餌光纖放大器。 激光雷達(dá)的Z軸分辨率取決于脈沖寬度,激光雷達(dá)里有個簡單的公式,激光雷達(dá)的Z軸分辨率是脈沖寬度的1/6,10納秒的脈沖寬度分辨率大約就是1.6米。Velodyne的64線激光雷達(dá)HDL-64E早期的脈沖寬度是10納秒,據(jù)說改為雙反射后提高到5納秒。大部分固態(tài)激光雷達(dá)一般是50-150納秒,單光子可以輕易做到1納秒甚至是幾十皮秒。遠(yuǎn)遠(yuǎn)好于大部分激光雷達(dá)。 再來說光束角,光束角也在一定程度上決定有效距離,使用MEMS的激光雷達(dá)光路復(fù)雜,光束角都很大,一般是10mrad以上,Flash型激光雷達(dá)一次成像,光路簡單,光束角比較小,可以做到1mrad,單光子也是一種Flash型激光雷達(dá)。Velodyne HDL-64的光束角為8mrad。
2020年2月,松下在國際固態(tài)電路Solid-State Circuits Conference宣布開發(fā)了有效距離100米最遠(yuǎn)250米,且達(dá)100萬像素的TOF圖像傳感器。標(biāo)志著單光子激光雷達(dá)最終將一統(tǒng)江湖。
松下對傳統(tǒng)的SPAD進(jìn)行了改進(jìn),從平面型改為垂直堆疊型,這來自松下早年在CCD Image Sensor領(lǐng)域積累的豐富經(jīng)驗(yàn)。改進(jìn)后每個像素元的尺寸大大縮小,意味著像素可以更高。
為提高精度各距離范圍內(nèi)采用不同的技術(shù),10米內(nèi)是傳統(tǒng)的非直接TOF技術(shù),即相位檢測,精度可達(dá)毫米級。10米到100米內(nèi)采用光子累加和時域非直接TOF技術(shù),精度為厘米級。超過100米采用直接DOF,精度為1.5米。不僅是松下,三星、索尼、意法半導(dǎo)體、Omnivision、還有收購了愛爾蘭Sensl的安森美都在開發(fā)類似的TOF圖像傳感器。
三星TOF圖像傳感器芯片截面分析
這種傳感器一旦量產(chǎn),將碾壓現(xiàn)有任何非360度旋轉(zhuǎn)型激光雷達(dá),無論功耗、刷新率、成本、性能、體積、車規(guī),都具備壓倒性的優(yōu)勢。
總結(jié)
以上是生活随笔為你收集整理的TOF摄像机可以替代Flash激光雷达吗?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 毫米波雷达分类和技术方案
- 下一篇: 分布式深度学习DDL解析