1. 加串解串芯片作用？

A: 加串和解串是成對出現的，串行器在模組內，將并行信號轉換為串行信號，然后用一根線可以實現遠距離傳輸。sensor輸出的raw data如果不加串，需要８根線傳輸，很難傳輸很遠，加串之后，一根線即可傳輸，而且能實現遠距離傳輸（十幾米都可以）。加串后的數據，通常通過lvds協議進行傳輸，從模組內傳輸到soc端，整個流程是：

raw->isp->加串->lvds接口把數據從模組內傳輸到開發板->開發板側解串器解串->解串后的數據按mipi協議包裝->soc內部mipi模塊硬解mipi數據->數據保存在ddr/sram中供上層使用。

注意：

mipi是板內和soc的串行接口協議，傳輸速度很快，解串后的數據，通常要包裝成mipi格式，然后傳輸到soc端，由soc端的mipi模塊進行硬解。

lvds是控制器和camera之間的通信協議，是板間通信接口。lvds是一種通信方式的統稱，fpdlink是TI的lvds叫法，美信的叫GMSL.

2: camera模組內一定要有ISP嗎？

A: 不一定。sensor輸出的是raw data, ISP可以對raw data進行處理，例如raw轉yuv，也可以對圖像進行自動曝光、自動白平衡、去噪等，ISP是專用的圖像處理芯片，對這類任務，計算效率高、效果好。當camera模組內擁有ISP時，ISP能很好的完成這些工作。當模組內沒有ISP時，這些工作就要在系統端（比如你的host機器上）進行完成了，你要在cpu上進行raw格式轉換、白平衡調節等工作，這是很耗cpu資源的。當然，現在一些開發板/soc上也帶有ISP，當模組沒有ISP時，可以用soc上的ISP對解串后的raw數據進行處理。比如華為的麒麟芯片，就擁有功能很強強大的ISP，可同事處理多路camera數據流。

3: 模組內若有ISP，數據流是什么順序？

A: sensor輸出raw data —> ISP處理 —>加串芯片把數據轉為串行 —>解串芯片 —> 數據經USB發送到host.
即，先經ISP處理，在加串。如果沒有isp，則直接加串。

4: RAW格式是什么？

A: RAW data格式： RAW圖像就是CMOS或者CCD圖像感應器將捕捉到的光源信號轉化為數字信號的原始數據。RAW文件是一種記錄了數碼相機傳感器的原始信息，同時記錄了由相機拍攝所產生的一些元數據（Metadata，如ISO的設置、快門速度、光圈值、白平衡等）的文件。RAW是未經處理、也未經壓縮的格式，可以把RAW概念化為“原始圖像編碼數據”或更形象的稱為“數字底片”。sensor的每一像素對應一個彩色濾光片，濾光片按Bayer pattern分布。將每一個像素的數據直接輸出，即RAW RGB dataRaw data（Raw RGB）經過彩色插值就變成RGB.

5: 曝光/AE算法簡介

• １: ir camera，通常配有led燈，一旦led選型結束，led的功率就固定了，比如1w/3w的ｌｅｄ燈。AE算法不會改變LED燈的功率。
• ２：led燈，有兩種工作方式，一種是常亮，通常配合rolling shutter的sensor（因為是逐行掃描，所以ｌｅｄ要常亮）；第二種是sensor曝光時，led燈才工作，曝光結束后，led就關閉（省電）。通常配合global shutter的sensor。
• ３：對于30fps的camera, 曝光時間最長是１０００ｍｓ/ 33 = 33.33ms，即曝光時間必須在這個范圍以內。曝光和圖像傳輸，通常是同步的，即ｓｅｎｓor在本次曝光時，上一次的圖像數據可能在忘寄存器里寫＝》傳輸到上位機。
• 4 : 曝光時間越長，光電轉換時間越長，圖像趨向越亮.
• 5：ＡＥ算法通常由ｉｓｐ去實現（on 0144這款ｓｅｎｓｏｒ,sensor內自帶了簡化的ａｅ算法，不需要ｉｓｐ，但是效果很一般）。ｉｓｐ控制ｓｅｎｓｏｒ的曝光時間，通過和用戶設定的圖像亮度閾值比對，動態調整曝光時間或ｓｅｎｓｏｒ增益，進而控制圖像亮度。

參考資料：

【1】https://blog.csdn.net/lgfun/article/details/99640748

【2】https://blog.csdn.net/lgfun/article/details/100581240

【3】https://blog.csdn.net/lgfun/article/details/99640748

總結

以上是生活随笔為你收集整理的ISP【二】————camera ir图的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。