圖像傳感器與信號處理——詳解CCD與CMOS圖像傳感器

• 圖像傳感器與信號處理——詳解CCD與CMOS圖像傳感器
• • 1. 一些基礎知識
  • • 1.1 噪聲相關
    • 1.2 性能相關
    • 1.3 材料學相關
  • 2. CCD圖像傳感器
  • • 2.1 像素結構
    • • 2.1.1 表面溝道
      • 2.1.2 掩埋溝道
    • 2.2 信號電荷轉移
    • • 2.2.1 局部轉移過程
      • 2.2.2 持續轉移過程
      • 2.2.3 完整轉移過程
    • 2.3 進一步優化
    • • 2.3.1 P阱優化
      • 2.3.2 像元交叉陣列結構CCD
  • 3. CMOS圖像傳感器
  • • 3.1 像素結構
    • • 3.1.1 基本結構
      • 3.1.2 PN光電二極管
      • 3.1.3 鉗位光電二極管
    • 3.2 信號處理結構
    • • 3.2.1 像素讀出結構
      • 3.2.2 快門結構
  • 4. 總結

圖像傳感器與信號處理——詳解CCD與CMOS圖像傳感器

本文主要總結了CCD與CMOS傳感器的原理知識，參考書籍為《數碼相機中圖像傳感器和信號處理》，英文版為《Image Sensors And Signal Processing for Digital Still Cameras》 。寫這篇文章的時候，正是疫情期間宅在家，今早晨又聽到科比意外去世的消息…希望一切都盡快好起來吧！

1. 一些基礎知識

在進行圖像傳感器原理介紹前，本文先介紹若干和圖像傳感器性能相關的關鍵詞，如下：

1.1 噪聲相關

圖像傳感器噪聲分為固定模式噪聲、暫態噪聲、拖尾和高光：
（1）固定模式噪聲： 英文縮寫為FPN（fixed-pattern noise），為出現在圖像中固定位置的噪聲，圖像傳感器中主要包括白點缺陷和陰影等；
（2）暫態噪聲： 為隨時間發生變化的噪聲，在電學和光學中三種基本的暫態噪聲為熱噪聲、散粒噪聲、1/f噪聲，在圖像傳感器中主要包括復位（kTC）噪聲、讀出噪聲（本底噪聲）、暗電流散粒噪聲、光子散粒噪聲、輸入參考噪聲和輸出參考噪聲等；
（3）拖尾和高光溢出： 拖尾表現為白色豎條紋，通常發生在漫射光進入 V-CDD 寄存器時或者體硅深處產生的電荷擴散進 V-CCD 時。高光溢出在光生電荷超出像素的滿阱容量時發生 ，溢出電荷會進入相鄰的像素或 V-CCD 中 。

暗電流指目標物體在無光照條件下觀察到的電流，暗電流會積分成為暗電荷并存儲在像素內的電荷存儲節點，上述的固定模式噪聲和暫態噪聲中都有暗電流造成的部分。

1.2 性能相關

轉換增益表明了在電荷檢測節點處，一個電子引起的電壓變化的大$$\mathrm{C}.\mathrm{G}=\frac{q}{C_{\mathrm{F}\mathrm{D}}}$$

填充因子定位為像素中感光區域面積$A_{pd}$與像素面積$A_{pix}$的比率:$$\mathrm{F}\mathrm{F}=\left(A_{\mathrm{p}\mathrm{d}}/A_{\mathrm{p}\mathrm{i}\mathrm{x}}\right)\times 100[\%]$$

滿阱容量指光電二極管的電容能夠積累的最大電荷量：$$N_{\mathrm{s}\mathrm{a}\mathrm{t}}=\frac{1}{q}{\int }_{V_{\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{e}\mathrm{t}}}^{V_{\mathrm{m}\mathrm{a}\mathrm{x}}}{C}_{\mathrm{P}\mathrm{D}}(\mathrm{V})?\mathrm{d}V[\text{?electrons?}]$$

動態范圍英文縮寫為DR（Dynamic range），定義為滿阱容量與本底噪聲之間的比值$$\mathrm{D}\mathrm{R}=20\log \left(\frac{N_{\mathrm{s}\mathrm{a}\mathrm{t}}}{n_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{d}}}\right)[\mathrm{d}\mathrm{B}]$$

信噪比英文縮寫為SNR（Signal-to-noise ratio），定義為輸入電壓下信號與噪聲的比值，這個噪聲總暫態噪聲，有可能以讀出噪聲為主，也有可能以光散粒噪聲為主$$\mathrm{S}\mathrm{N}\mathrm{R}=20\log \left(\frac{N_{\mathrm{s}\mathrm{i}\mathrm{g}}}{n}\right)[\mathrm{d}\mathrm{B}]$$信噪比可以通過加強信號和減小噪聲來提高，提高信噪比可以認為是提高圖像傳感器的靈敏度。加強信號可以通過
（1）提高光的透射比，諸如減少顏色濾光片吸收，減小接觸面的反射率等；
（2）提高填充因子，諸如減小像素的非探測區域，優化微型透鏡結構等；
（3）提高電荷收集效率，諸如優化微探測器結構并畢淼像素間串擾。
減小噪聲則是一門大學問，有非常多的手段，在此不進一步展開。

1.3 材料學相關

在了解CCD的基本原理之前，我們首先需要了解一部分材料學方面的知識，硅是半導體材料，在半導體材料中摻入特定雜質則構成雜質半導體，可分為P型半導體和N型半導體，其中P型半導體是在硅材料中摻入少量硼元素，使得半導體中含有較高濃度的“空穴”（Positive）；而N型半導體是在硅材料中摻入少量磷元素，使得半導體中含有較高濃度的自由電子（Negative）。
P型摻雜區和N型摻雜區緊密結合及構成PN結，其中P型摻雜區多子為“空穴”，N型摻雜區多子為自由電子，由于濃度的不同，多子發生擴散作用，在結合處形成內部電場，電場方向為帶正電的N極指向帶負電的P極。而內部電場的形成又會促進了少子的漂移作用，減小內部電場，最終達到平衡。由于內部電場的存在PN結具備單向導電性，只有當P極接正電壓，N極接負電壓PN結才會導通。

2. CCD圖像傳感器

2.1 像素結構

2.1.1 表面溝道

有了以上的材料學方面的知識基礎，CCD圖像傳感器的基本原理就很好理解了，CCD圖像傳感器中的像素最主要的結構為金屬氧化物半導體電容，由P型半導體和二氧化硅組合而成，其中二氧化硅為絕緣體，如下所示：
圖（a）中，在金屬電極上施加正電壓，P型半導體中的“空穴”被排斥，在表面區域形成耗盡層；
圖（b）中，當光子通過光電轉換獲得信號電荷后，信號電荷將被吸引到硅和二氧化硅的交界面；
圖（c）中展示的表面電勢的分布，電勢這個概念是相對信號電荷而言，哪里電勢越低哪里對信號電荷的吸引能力越強，因此金屬電極上施加的正電壓就形成了一個勢阱。

2.1.2 掩埋溝道

以上結構電荷是附著在表面上，因此我們稱之為表面溝道，由于硅表面的晶格極不規則，在硅表面的禁帶引入了高密度的載流子陷阱能級，這又被稱為表面態或界面態，而通過在P型半導體和二氧化硅中間添加N型半導體就可以進一步構建掩埋溝道，其結構如下圖所示：

掩埋溝道的電勢分布如下圖所示：
圖（a）中，N型半導體和P型半導體構成了一個PN結，根據前文的分析，PN結中會形成內部電場，使得N型半導體的電勢要低于P型半導體的電勢；
圖（b）中，同樣在金屬電極上施加正電壓，N型半導體中的自由電子會附著在表面，使得表面電勢增高，而P型半導體中的“空穴”會被排斥到基底中，因此圖中從表面往基底方向，電勢會先下降后上升；
圖（c）中，當光子入射產生信號電荷后，信號電荷理所當然會存儲在電勢最低處，由此避免了將信號電荷存儲于表面，避免了表面態的發生。

掩埋溝道除了避免表面態的發生這一優勢之外，其另外兩個優勢是：
（1）通過價帶鉗位抑制電荷轉移時表面暗電流的影響；
（2）可以增強電荷傳輸溝道的邊緣場效益；
關于第（2）點，在2.3節中會對邊緣場效應進行解釋，關于第（1）點，我們在此進行簡單討論，如下圖所示：

在進行光電轉換時在金屬電極上施加的是正電壓，而在進行信號電荷轉移時金屬電極上施加的是負電壓，這就是所謂價帶鉗位。其原理如上圖（a）所示，P型半導體中的“空穴”會在負電壓的作用下注入N型半導體并最終附著在N型報道體的表面上，由此會出現如圖（b）中所示的陰影部分，該部分電勢極低，因此對于表面產生的暗電流有很好的抑制作用。

2.2 信號電荷轉移

2.2.1 局部轉移過程

以上就講了說明CCD圖像傳感器單個像素的主要構造，通過光電轉換獲得電子后存儲在勢阱中，而整個CCD圖像傳感器是有許多像素組成的，接下來討論的問題是如何將像素收集的電子運轉出來并轉換為圖像信號。接下來我們將電子稱之為信號電荷，那么信號電荷的局部轉移過程如下圖所示：

轉移過程主要分為三個階段：自激漂移、熱擴散和邊緣場效應，其中
圖（a）展示的不考慮邊緣場效應下自激漂移的過程，自激漂移是由信號電荷之間的靜電排斥作用引起的；
圖（b）展示的不考慮邊緣場效應下熱擴散的過程，在不考慮邊緣場效應的情況下，熱擴散決定電荷傳輸性能，因為剩余電荷最終會減少至幾個電子；
圖（c）展示的邊緣場效應，其是由兩個電極之間的電壓差引起的，并且加快了最后階段的電荷轉移，是電荷轉移的最重要驅動力。

2.2.2 持續轉移過程

以上說明了信號電荷的局部轉移過程，接下來討論信號電荷的持續轉移過程，如下圖所示是兩項CCD的工作方式：

如下圖所示是四項CCD工作方式：

兩者工作方式其實大同小異，都是通過給金屬電極輸入步進電壓使得信號電荷持續移動，但是兩項CCD傳輸速度更快，而四項CCD傳輸能力更強。

2.2.3 完整轉移過程

接下來進一步討論一個完整的CCD圖像傳感器信號電荷轉移過程，如下圖所示：

圖（a）是全幀轉移CCD（FTCCD）的結構。其工作流程是：在曝光過程中，信號電荷積累在成像區域的光電二極管中，曝光完成后，信號電荷轉移到存儲區域中，最后再通過水平CCD一行一行進行輸出。這種結構最大的缺陷是會發生漏光現象，這是由于信號電荷在向成像區域轉移時，轉移期間生成的信號電荷會疊加到其中。
圖（b）是 行間轉移CCD（ITCCD）的結構。其工作流程是與FTCCD不同的是：在曝光完成后，信號電荷可以以極快地速度轉移到垂直CCD，從而減小了漏光現象的發生。
圖（c）是幀行間轉移CCD（FIT）的結構。其工作流程是FTCCD和ITCCD的結合，其優勢是高漏光抑制，但是其面積大且功耗大，因此只在特殊相機中使用。

2.3 進一步優化

以上完成了所有CCD圖像傳感器的基本原理的介紹，接下來介紹若干CCD圖像傳感器的優化技術

2.3.1 P阱優化

如下圖是2.1節中介紹的掩埋溝道的三維示意圖，前文中介紹了掩埋溝道可以避免表面態并通過帶價鉗位減小表面暗電流的影響。但是出了表面的暗電流，在P型半導體基底中同樣會有熱擴散產生的暗電流，此外，當光線非常強烈是會有高光溢出效應，這些對最終的成像都會有影響。

在掩埋溝道的基礎上，通過設計P阱結構可以有效抑制基底中的暗電流以及高光溢出效應，P阱結構如下圖所示：

由圖（a）可以看出，P阱結構就是在掩埋溝道的基礎上添加了N型半導體作為襯底，構成第二個PN結，在金屬電極上施加正電壓可以后電勢分布圖如圖（b）所示，暗電流相關的電荷會通過P阱與信號電荷隔離開，由此減少了暗電流的影響。此外，當光線足夠強烈時，多余的信號電荷會越過P阱進入N型半導體的襯底中，由此抑制了高光溢出效應。

2.3.2 像元交叉陣列結構CCD

如下圖（a）是行間轉移CCD的版圖，如果實現隔行掃描需要采用雙層多晶硅工藝制作，而如果實現逐行掃描則需要采用三層多晶硅工藝制作。

如上圖（b）所示就是對版圖設計的優化，成為像元交叉陣列結構CCD其空間利用效率更高且可以平穩地傳輸大量信號電荷。

3. CMOS圖像傳感器

3.1 像素結構

3.1.1 基本結構

CMOS圖像傳感器的像素結構可以分為有源像素和無源像素，所有有源指的是像素內部有信號放大功能，反之則是無源。如下圖所示分別是有源和無源像素的結構：

圖（a）是有源像素的基本結構，圖中$\mathrm{P}\mathrm{D}$為光電二極管，${\mathbf{M}}_{\mathrm{R}\mathrm{S}}$為復位晶體管，${\mathbf{M}}_{\mathrm{S}\mathrm{E}\mathrm{L}}$為線位選擇晶體管，${\mathbf{M}}_{\mathrm{R}\mathrm{D}}$為源極跟隨器晶體管，${\mathbf{V}}_{\mathrm{P}\mathrm{I}\mathrm{X}}$為光電二極管電壓，即入射光通過光電轉化后信號電荷在電容${\mathbf{C}}_{\mathrm{P}\mathrm{I}\mathrm{X}}$上累計的電壓，而${\mathbf{V}}_{\mathrm{P}\mathrm{I}\mathrm{X}\mathrm{O}\mathrm{U}\mathrm{T}}$為通過電容${\mathbf{C}}_{\mathrm{S}\mathrm{H}}$保持的輸出電壓。其中源極跟隨器是一種電壓緩沖器，具有電流放大能力但是不具備電壓放大能力。
圖（b）是無源像素的基本結構，結構相對簡單但是噪聲較大，因此不適合大規模像素陣列。

以上是最基本的有源像素結構，但是由于晶體管的特性，信號放大會發生一定程度上的失調波動而導致噪聲的產生，晶體管${\mathbf{M}}_{\mathrm{R}\mathrm{D}}$是這種噪聲的主要來源，那么通過對電路進行改進可以抑制失調波動帶來的噪聲，改進結構如下圖所示：

像素首先輸出 一個包含光生信號和放大器失調的信號${\mathbf{V}}_{\mathrm{S}\mathrm{I}\mathrm{G}}$ ，這個信號讀出后被存儲在一個存儲單元中 。像素被復位后輸出一個僅包含放大器失調的信號${\mathbf{V}}_{\mathrm{R}\mathrm{E}\mathrm{T}}$，這個信號再次被讀出井存儲在另一個存儲單元中。通過對兩次輸出做差，放大器的失調可以抵消 。 應該指出的是，由暗電流的變化引起的失調不能被抑制 。

3.1.2 PN光電二極管

上述像素中最核心的部分是光電二極管，下面對光電二極管的典型結構進行介紹，光電二極管分為PN光電二極管和鉗位光電二極管，其中PN光電二極管能提供更大的滿阱容量，而鉗位光電二極管具備更小的噪聲。如下圖所示是PN光電二極管的結構：

PN光電二極管可以分為圖（a）所示的n+/p阱光電二極管和圖（b）所示的n阱/p襯底光電二極管。
圖（a）中，n+/p阱光電二極管在p阱區域內形成一個高濃度的淺n+區，光電轉換發生在該結的耗盡區中，光電二極管適用于特征尺寸大于0.5~0.8微米的CMOS工藝。
圖（b）中，n阱/p襯底光電二極管中的n阱區域在低摻雜的p型外延層上形成，光電二極管的外圍通過p阱區域隔離。由于p型外延層的摻雜濃度非常低，耗盡層將會到達p型外延層的邊緣。因此，即使在高度集成的CMOS 工藝中也可以獲得較大的光轉換量 。光電二極管適用于特征尺寸小于0.5~0.8m的CMOS工藝。

PN光電二極管的根本問題是表面產生的暗電流和光電二極管復位時產生的熱噪聲:
表面產生的暗電流產生的原因在CCD圖像傳感器中有說明，可以通過引入掩埋型光電二極管和鉗位二極管的結構加以抑制；
復位時產生的熱噪聲產生的原因是在導通狀態下，復位晶體管可以等效為一個電阻，因此整個光電二極管復位電路構成了一個RC低通濾波電路，如下圖所示就會產生熱噪聲。該部分噪聲可以通過使用無損讀出實現復位降噪或者有源反饋復位噪聲校正加以抑制。

3.1.3 鉗位光電二極管

在n阱/p襯底光電二極管的基礎上進行改進就獲得鉗位光電二極管，如下圖是鉗位光電二極管的結構：

在PN光電二極管中復位時是直接復位耗盡區的電荷，而在鉗位光電二極管中，復位是是復位浮置擴散（FD）節點，在圖中${\mathbf{V}}_{\mathrm{F}\mathrm{D}}$對應的就是n+區域。其流程是首先進行復位操作，讀取輸出電壓${\mathbf{V}}_{\mathrm{R}\mathrm{S}\mathrm{T}}$，這時的輸出電壓是像素失調噪聲和復位噪聲，然后在進行信號電荷轉移，轉移完成后再次讀取輸出電壓${\mathbf{V}}_{\mathrm{S}\mathrm{I}\mathrm{G}}$，這是的輸出電壓是實際的輸出電壓加上像素失調噪聲和復位噪聲，兩者相減像素失調噪聲和復位噪聲就被抵消，由此消除復位時產生的熱噪聲。

除此之安外，因為鉗位光電二極管的表面被p+層隔離，因此抑制了表面產生的暗電流。

3.2 信號處理結構

3.2.1 像素讀出結構

像素讀出結構分為像素串行讀出結構、’列并行讀出結構和像素并行讀出結構，其結構分別如下圖所示：

圖（a）為像素串行讀出結構，行和列選擇脈沖一次選定一個像素，然后進行讀出和處理，并依次循環，積分時間逐個出現偏移；
圖（b）為列并行讀出結構，同一行中的像素被同時讀出然后并行處理，處理后的信號被存儲在一個行存儲器中，并按順序讀出，積分時間逐行出現偏移；
圖（c）為像素并行讀出結構；該結構中處理器單元 CPE）存在于每一個像素中，可以并行地進行圖像處理，這種結構的缺點在于像素結構變得更加復雜，導致像素尺寸大 、填充因子低 。

3.2.2 快門結構

為了控制曝光時間，CMOS圖像傳感器需要額外的復位掃描，在讀出掃描信號進行掃描之前，這個復位掃描信號開始掃描像素陣列 。 復位脈沖和讀出脈沖之間的時間間隔決定了曝光時間 ，這個過程類似于機械卷簾式快門。 因此，對應于 CCD 圖像傳感器的全局快門，這種快門 工作方式叫做卷簾式快門。具體實現如下圖所示：

4. 總結

這里直接引用原文中的一段文字：

自 從 20 世紀 90 年代初提出 CMOS 有源像素傳感器的概念以來，叫 CMOS 圖像傳感器技術的性能已經發展到能夠與 CCD 技術相提并論的水平 。 早期的 CMOS 圖像傳感器由于暗電流的不均勻性，導致了較大的 FPN 。 許多懷疑者指出，即使 CMOS 圖像傳感器有很多優良的特性，如低功耗、可以片上集成信號處理電路等，但是對于 CMOS 圖像傳感器而言，提高圖像質量仍是一個很大的問題 。 然而，隨著鉗位光電二極管CCD技術的提出，CMOS 圖像質量問題正迅速得到解決 。 將 CCD 有源像素結構與片上信號處理電路結合，可以獲得比 CCD 圖像傳感器更低的暫態噪聲 。擁有大尺寸像素的高分辨率的 CMOS 圖像傳感器實際上已經應用到幾種數碼單反相機中，它們已經被證實擁有著出色的圖像質量 、更高速度的像素速率以及更低的功耗

此前，由于 CMOS 圖像傳感器的像素總是比 CCD 圖像傳感器大，因此，除了用于DSLR 領域外， CMOS 圖像傳感器（因其成本低）主要被用于低端數碼相機 。 近年來，由于更先進的加工技術和像素共享結構的提出 ,CMOS 圖像傳感器的像素尺寸顯著地降低，隨著這些技術的改進， CMOS 圖像傳感器已成為緊湊型 DSC 和數碼單反相機領域有力的競爭者 。在另一方面， CCD 圖像傳感器也取得了長足的進步 。 除了固有的良好的圖像還原能力，近期的 CCD 圖像傳感器還具有多種特別適合 DSC 領域應用的特點

以上就完成了所有總結，如有問題，歡迎指出~

此外，對圖像降噪算法感興趣的同學可以看考我的博客圖像降噪算法——圖像降噪算法總結

總結

以上是生活随笔為你收集整理的图像传感器与信号处理——详解CCD与CMOS图像传感器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。