RGB相機成像原理

相機結構和原理（入門簡版）知乎
攝像機模型數學推導

相機結構

成像原理

大名鼎鼎的“拜爾濾鏡”

CMOS濾鏡排列

像素尺寸、大小關系

景深

景深原理

卷簾相機（rolling shutter）
卷簾快門（Rolling Shutter）與全局快門（Global Shutter）的區別

深度相機成像原理

主流的深度相機一般分為以下幾種：飛行時間法（ToF）、結構光法、雙目立體視覺法

ToF系統綜述

Kinect相機原理
Azure Kinect DK 深度相機實現調幅連續波 (AMCW) 時差測距 (ToF) 原理。 該相機將近紅外 (NIR) 頻譜中的調制光投射到場景中。 然后，它會記錄光線從相機傳播到場景，然后從場景返回到相機所花費的間接時間測量值。
處理這些測量值可以生成深度圖。 深度圖是圖像每個像素的一組 Z 坐標值，以毫米為單位。
連同深度圖一起，我們還可以獲得所謂的清晰 IR 讀數。 清晰 IR 讀數中的像素值與從場景返回的光線量成正比。 圖像類似于普通的 IR 圖像。 下圖顯示了示例深度圖（左）的對應的清晰 IR 圖像（右）。


ToF測量法



因為單個光脈沖的持續時間非常短，此過程會重復幾千次，直到達到曝光時間。然后感光傳感器中的值會被讀出，實際距離可以根據這些值來計算。

記光的速度為c，tp為光脈沖的持續時間， S0表示較早的快門收集的電荷， S1表示延遲的快門收集的電荷，那么距離d可以由如下公式計算：
$$d=\frac{c}{2}\times t_p\times \frac{S_1}{S_0+S_1}$$
最小的可測量距離是：在較早的快門期間S0中收集了所有的電荷，而在延遲的快門期間S1沒有收集到電荷，即S1 = 0。代入公式會得出最小可測量距離d=0。
最大的可測量的距離是：在S1中收集了所有電荷，而在S0中根本沒有收集到電荷。然后，該公式得出d= 0.5 x c × tp。因此最大可測量距離是通過光脈沖寬度來確定的。例如，tp = 50 ns，代入上式，得到最大測量距離d = 7.5m。

連續波調制
實際應用中，通常采用的是正弦波調制。由于接收端和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比(見后面推導)，因此可以利用相位偏移來測量距離。

連續波調制的測量原理相對脈沖調制來說復雜一些，我們以最常用的連續正弦波調制來推導一下測量的原理。

連續正弦波調制測量方法示意圖：

連續正弦波調制測量方法，具體的推導過程如下。序號1-9對應下圖的公式1-9。

假設發射的正弦信號s(t)振幅是a，調制頻率是f

經過時延 △t后接收到的信號為接收r(t)，衰減后的振幅為A，強度偏移（由環境光引起）為B

四個采樣時間間隔相等，均為T/4

根據上述采樣時間可以列出四個方程組

從而可以計算出發射和接收的正弦信號的相位偏移△φ

據此可以根據（6）中公式計算物體和深度相機的距離d

接收信號的衰減后的振幅A的計算結果

接收信號強度偏移B的計算結果，反映了環境光

A, B的值間接的反應了深度的測量精度，深度測量方差可以用公式9近似表示。

Azure Kinect DK

LiDAR工作原理

[科普]激光雷達LIDAR工作原理

測距
LiDAR的首要工作就是測距，探測是在測距的基礎上進行的。

時間測距
LiDAR是利用發射和接收激光脈沖信號的時間差來實現對被測目標的距離測量，測距公式為：
$$R=\frac{c\times t}{2}$$
其中R是測量距離，c是光速，t是激光信號往返的時間差。
時間獲取的方法主要脈沖法和相位法。
**脈沖法（time of flight, TOF）**就是利用被測目標對激光脈沖的漫反射作用，通過接收和發射端的計時，來獲取時間差。這種方法容易受到脈沖寬度和計數器時間分辨率的影響，測距很短的情況下，一個微小的時間偏差對于測距精度影響都很大，所以這種測距方法精度不是很高，但是工作方式簡單，效率高，適合于精度要求不高的場景。
相位法（phase difference），通過測量連續的調制波在待測距離上往返傳播一次所產生的相位差，間接測定激光信號所傳播的時間。相位法測距是根據波的周期性進行測距的，所以這里很重要的一點就是如何獲取光波的整周期數，一般來說相位法測距精度可達到毫米級，優于脈沖法。

三角測距
LiDAR中另外一種常見的測距方式為三角測量法（triangulation principle）。這種測距方法的LiDAR和時間測距法LiDAR在結構上有一些差別，這種LiDAR內部包含CMOS元件，根據上下兩個三角形相似原理計算距離：
$$\frac{f}{w}=\frac{V}{D},V=S?sin\alpha ,S=\frac{f?D}{w?sin\alpha }$$

探測
探測即探測物體在特定坐標系的坐標值。根據LiDAR測量的距離S 、激光脈沖的豎直掃描角φ、 水平掃描角Φ，使用極坐標法可以得到物體的坐標：

關于TOF為什么不能和RGB相機融合

智能手機雙攝像頭原理解析：RGB +Depth
TOF相機采用主動光探測，通常包括以下幾個部分：
1、照射單元
照射單元需要對光源進行脈沖調制之后再進行發射，調制的光脈沖頻率可以高達100MHz。因此，在圖像拍攝過程中，光源會打開和關閉幾千次。各個光脈沖只有幾納秒的時長。相機的曝光時間參數決定了每次成像的脈沖數。
要實現精確測量，必須精確地控制光脈沖，使其具有完全相同的持續時間、上升時間和下降時間。因為即使很小的只是一納秒的偏差即可產生高達15 c m的距離測量誤差。
如此高的調制頻率和精度只有采用精良的LED或激光二極管才能實現。
一般照射光源都是采用人眼不可見的紅外光源。
曝光時間不一樣！！！
2、光學透鏡
用于匯聚反射光線，在光學傳感器上成像。不過與普通光學鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照明光源波長相同的光才能進入。這樣做的目的是抑制非相干光源減少噪聲，同時防止感光傳感器因外部光線干擾而過度曝光。
需要加濾光片濾掉所有的環境光！！！常見的日光幾乎能夠覆蓋整個光譜范圍
3、成像傳感器
是TOF的相機的核心。該傳感器結構與普通圖像傳感器類似，但比圖像傳感器更復雜，它包含2個或者更多快門，用來在不同時間采樣反射光線。因此，TOF芯片像素比一般圖像傳感器像素尺寸（0.7um-3um）要大得多，一般100um左右。
成像傳感器像素尺寸不一樣！！！
TOF的CMOS和普通CMOS的區別，為什么不能做小？
4、控制單元
相機的電子控制單元觸發的光脈沖序列與芯片電子快門的開/閉精確同步。它對傳感器電荷執行讀出和轉換，并將它們引導至分析單元和數據接口。
5、計算單元
計算單元可以記錄精確的深度圖。深度圖通常是灰度圖，其中的每個值代表光反射表面和相機之間的距離。為了得到更好的效果，通常會進行數據校準。

總結

以上是生活随笔為你收集整理的RGB相机、深度相机以及LiDAR成像原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。