做為拍照手機(jī)的核心模塊之一，camera sensor效果的調(diào)整，涉及到眾多的參數(shù)，如果對(duì)基本的光學(xué)原理及sensor軟/硬件對(duì)圖像處理的原理能有深入的理解和把握的話，對(duì)我們的工作將會(huì)起 到事半功倍的效果。否則，缺乏了理論的指導(dǎo)，只能是憑感覺和經(jīng)驗(yàn)去碰，往往無法準(zhǔn)確的把握問題的關(guān)鍵，不能掌握sensor調(diào)試的核心技術(shù)，無法根本的解 決問題。所以，這里筆者結(jié)合自己出于對(duì)攝影的愛好所學(xué)習(xí)的一些圖像處理相關(guān)的原理，試圖通過分析一些與Sensor圖像處理相關(guān)的因素，和大家分享一下自己的一些理解，共同探討，共同學(xué)習(xí)進(jìn)步。

ISP(Image Signal Processor)，即圖像信號(hào)處理器，用于處理圖像信號(hào)傳感器輸出的圖像信號(hào)。它在相機(jī)系統(tǒng)中占有核心主導(dǎo)的地位，是構(gòu)成相機(jī)的重要設(shè)備。

主要內(nèi)部構(gòu)成

如下圖所示，ISP 內(nèi)部包含 CPU、SUP IP、IF 等設(shè)備，事實(shí)上，可以認(rèn)為 ISP 是一個(gè) SOC，可以運(yùn)行各種算法程序，實(shí)時(shí)處理圖像信號(hào)。

ISP 架構(gòu)

1.CPU

CPU 即中央處理器，可以運(yùn)行 AF、LSC 等各種圖像處理算法，控制外圍設(shè)備。現(xiàn)代的 ISP 內(nèi)部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。

2.SUB IP

SUB IP 是各種功能模塊的通稱，對(duì)圖像進(jìn)行各自專業(yè)的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。

3.圖像傳輸接口

圖像傳輸接口主要分兩種，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱，鑒于 MIPI CSI 的諸多優(yōu)點(diǎn)，在手機(jī)相機(jī)領(lǐng)域，已經(jīng)廣泛使用 MIPI-CSI 接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個(gè)接口。內(nèi)置 ISP 一般只需要 MIPI-CSIS 接口。

4.通用外圍設(shè)備

通用外圍設(shè)備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于讀取 OTP 信息，控制 VCM等。對(duì)于外置 ISP，ISP 本身還是 I2C 從設(shè)備。AP 可以通過 I2C 控制 ISP 的工作模式，獲取其工作狀態(tài)等。

主要功能特性

ISP 作為圖像處理的核心器件，擁有十分重要的功能，下圖展示了 ISP 處理圖像數(shù)據(jù)的基本流程。

ISP 處理流程

下面針對(duì) ISP 的主要功能特性進(jìn)行下介紹。

1.DEMOSAIC

DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素點(diǎn)上覆蓋著 CFA，光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個(gè)像素輸出的信號(hào)只包含 R、G、B 三者 中的一種顏色信息。SENSOR 輸出的這種數(shù)據(jù)就是 BAYER 數(shù)據(jù)，即通常所說的 RAW 數(shù)據(jù)。顯而易見，RAW 數(shù)據(jù)所反映的顏色信息不是真實(shí)的顏色信息。DEMOSAIC 就是通過插值算法將將每個(gè)像素所代表的真實(shí)顏色計(jì)算出來。

2.FOCUS

根據(jù)光學(xué)知識(shí)，景物在傳感器上成像最清晰時(shí)處于合焦平面上。通過更改 LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任務(wù)。FOCUS 分為手動(dòng)和自動(dòng)兩種模式。ISP 可以運(yùn)行 CONTRAST AF、PDAF、LASER AF 等算法實(shí)現(xiàn)自動(dòng)對(duì)焦。

3.EXPOSURE

曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實(shí)現(xiàn) AE 功能，通過控制曝光程度，使得圖像亮度適宜。

4.WB

白平衡。白平衡與色溫相關(guān)，用于衡量圖像的色彩真實(shí)性和準(zhǔn)確性。ISP需要實(shí)現(xiàn) AWB 功能，力求在各種復(fù)雜場景下都能精確的還原物體本來的顏色。

5.LSC

用于消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。ISP 需要借助 OTP 中的校準(zhǔn)數(shù)據(jù)完成 LSC 功能。

6.GAMMA CORRECTION

伽瑪校正。傳感器對(duì)光線的響應(yīng)和人眼對(duì)光線的響應(yīng)是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。

7.CROP/RESIZE

圖像剪裁，即改變圖像的尺寸。可用于輸出不同分辨率的圖像。

8.VRA

視覺識(shí)別。用于識(shí)別特定的景物，例如人臉識(shí)別，車牌識(shí)別。ISP 通過各種 VRA 算法，準(zhǔn)確的識(shí)別特定的景物。

9.DRC

動(dòng)態(tài)范圍校正。動(dòng)態(tài)范圍即圖像的明暗區(qū)間。DRC 可以使得暗處的景物不至于欠曝，而亮處的景物不至于過曝。ISP需要支持 DRC 功能。

10.CSC

顏色空間轉(zhuǎn)換。例如，ISP 會(huì)將 RGB 信號(hào)轉(zhuǎn)化為 YUV 信號(hào)輸出。

11.IS

圖像穩(wěn)定。IS 的主要作用是使得圖像不要因?yàn)槭殖謺r(shí)輕微的抖動(dòng)而模糊不清。IS 有很多種，例如 OIS、DIS、EIS。 ISP 可以實(shí)現(xiàn) DIS 和 EIS。

事實(shí)上，ISP 除了上面提到的主要功能外，還需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等調(diào)整功能。

控制方式

這里所說的控制方式是 AP 對(duì) ISP 的操控方式。

1.I2C/SPI

這一般是外置 ISP 的做法。SPI 一般用于下載固件、I2C 一般用于寄存器控制。在內(nèi)核的 ISP 驅(qū)動(dòng)中，外置 ISP 一般是實(shí)現(xiàn)為 I2C 設(shè)備，然后封裝成 V4L2-SUBDEV。

2.MEM MAP

這一般是內(nèi)置 ISP 的做法。將 ISP 內(nèi)部的寄存器地址空間映射到內(nèi)核地址空間。

3.MEM SHARE

這也是內(nèi)置 ISP 的做法。AP 這邊分配內(nèi)存，然后將內(nèi)存地址傳給 ISP，二者實(shí)際上共享同一塊內(nèi)存。因此 AP 對(duì)這段共享內(nèi)存的操作會(huì)實(shí)時(shí)反饋到 ISP 端。

ISP 架構(gòu)方案

上文多次提到外置 ISP 和內(nèi)置 ISP，這實(shí)際上是 ISP 的架構(gòu)方案。

外置 ISP 架構(gòu)

外置 ISP 架構(gòu)是指在 AP 外部單獨(dú)布置 ISP 芯片用于圖像信號(hào)處理。外置 ISP 的架構(gòu)圖一般如下所示：

外置 ISP 架構(gòu)圖

外置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有：

1.能夠提供更優(yōu)秀的圖像質(zhì)量

在激烈的市場競爭下，能夠存活到現(xiàn)在的外置 ISP 生產(chǎn)廠商在此領(lǐng)域一般都有很深的造詣，積累了豐富的影像質(zhì)量調(diào)試經(jīng)驗(yàn)，能夠提供比內(nèi)置 ISP 更優(yōu)秀的性能和效果。因此，選用優(yōu)質(zhì)的外置 ISP 能提供專業(yè)而且優(yōu)秀的圖像質(zhì)量。

2.能夠支援更豐富的設(shè)計(jì)規(guī)劃

外置 ISP 的選型基本不受 AP 的影響，因此很多手機(jī)廠家(比如美圖秀秀手機(jī)、魅族、華為等)都是從從各個(gè)優(yōu)秀 ISP芯片供應(yīng)商的眾多產(chǎn)品中甄選最合適的器件，從而設(shè)計(jì)出更多優(yōu)秀的產(chǎn)品。

3.能夠?qū)崿F(xiàn)產(chǎn)品的差異化

內(nèi)置 ISP 是封裝在 AP 內(nèi)部的，是和 AP 緊密的聯(lián)系在一起，如果 AP 相同，那么 ISP 也就是一樣的。因此基于同樣AP 生產(chǎn)出來的手機(jī)，其 ISP 的性能也是一樣的，可供調(diào)教的條件也是固定的，這樣就不利于實(shí)現(xiàn)產(chǎn)品的差異化。而如果選擇外置 ISP，那么同一顆 AP，可以搭配不同型號(hào)的 ISP，這樣可以實(shí)現(xiàn)產(chǎn)品的差異化，為給用戶提供更豐富和優(yōu)質(zhì)的產(chǎn)品。

外置 ISP 架構(gòu)的缺點(diǎn)主要有：

1.成本價(jià)格高

外置 ISP 需要單獨(dú)購買，其售價(jià)往往不菲，而且某些特殊功能還需要額外支付費(fèi)用。使用外置 ISP，需要進(jìn)行額外的原理圖設(shè)計(jì)和 LAYOUT，需要使用額外的元器件。

2.開發(fā)周期長

外置 ISP 驅(qū)動(dòng)的設(shè)計(jì)需要多費(fèi)精力和時(shí)間。使用外置 ISP 時(shí)，AP 供應(yīng)商提供的 ISP 驅(qū)動(dòng)就無法使用，需要額外設(shè)計(jì)編寫外置 ISP 驅(qū)動(dòng)。另外，為了和 AP 進(jìn)行完美的搭配，將效果最大化，也往往需要付出更多的調(diào)試精力。上文也提到，使用外置 ISP，需要進(jìn)行額外的原理圖設(shè)計(jì)和 LAYOUT，需要使用額外的元器件，這也是需要花費(fèi)時(shí)間進(jìn)行處理的。

內(nèi)置 ISP 架構(gòu)

內(nèi)置 ISP 架構(gòu)是指在 AP 內(nèi)部嵌入了 ISP IP，直接使用 AP 內(nèi)部的 ISP 進(jìn)行圖像信號(hào)處理。 內(nèi)置 ISP 的架構(gòu)圖一般如下所示：

內(nèi)置 ISP 架構(gòu)圖

內(nèi)置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有：

1.能降低成本價(jià)格

內(nèi)置 ISP 內(nèi)嵌在 AP 內(nèi)部，因此無需像外置 ISP 一樣需要額外購買，且不占 PCB 空間，無需單獨(dú)為其設(shè)計(jì)外圍電路，這樣就能節(jié)省 BOM，降低成本。鑒于大多數(shù)用戶在選購手機(jī)時(shí)會(huì)將價(jià)格因素放在重要的位置，因此降低成本能有效的降低終端成品價(jià)格，有利于占領(lǐng)市場。

2.能提高產(chǎn)品的上市速度

內(nèi)置 ISP 和 AP 緊密結(jié)合，無需進(jìn)行原理圖設(shè)計(jì)和 LAYOUT 設(shè)計(jì)，因此可以減小開發(fā)周期，加快產(chǎn)品上市的速度。

3.能降低開發(fā)難度

如果使用內(nèi)置 ISP，那么 AP 供應(yīng)商能在前期提供相關(guān)資料，驅(qū)動(dòng)開發(fā)人員可以有充足的時(shí)間熟悉相關(guān)資料，而且不會(huì)存在軟件版本適配問題，也不存在平臺(tái)架構(gòu)兼容性問題。但是，如果使用外置 ISP，那么 ISP 供應(yīng)商往往都不能提供針對(duì)某個(gè)平臺(tái)的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅(qū)動(dòng)開發(fā)人員付出額的經(jīng)歷和時(shí)間。

使用內(nèi)置 ISP 當(dāng)然也有相應(yīng)的不足之處，具體見上文的分析，這里就不贅述了。

事實(shí)上，鑒于 ISP 的重要性，為了推廣其 AP，提高其 AP 競爭力，現(xiàn)在 AP 內(nèi)置的 ISP 也越來越強(qiáng)大，其性能足以滿足手機(jī)市場的需求。再加上其一系列優(yōu)點(diǎn)，現(xiàn)在使用內(nèi)置 ISP 方案的手機(jī)越來越多。

Camera效果問題評(píng)估

攝像頭效果評(píng)測(cè)都有哪些？

本文轉(zhuǎn)載自 光學(xué)日記 公眾號(hào)。

總結(jié)

以上是生活随笔為你收集整理的mipi和isp处理_ISP-摄像头的最强大脑- 图像质量及色彩科技知识分享平台 图像质量与色彩管理 - Powered by HDWiki!...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。