Imagination 的神經(jīng)網(wǎng)絡(luò)加速器和 Visidon 的去噪算法被證明是完美的搭檔
本文是總部位于芬蘭的Visidon和總部位于英國的 Imagination合作的結(jié)果。Visidon 是公認(rèn)的相機(jī)圖像增強和分析算法專家，Imagination 擁有一系列世界一流的神經(jīng)網(wǎng)絡(luò)加速器(NNA)，每個內(nèi)核的性能高達(dá)每秒 100 TOPS。
本文解決的問題是對來自傳統(tǒng)彩色相機(jī)的圖像進(jìn)行去噪。解決方案分為兩部分：
? 在不破壞圖像細(xì)節(jié)的情況下去除噪聲的算法。
? 一種高性能卷積引擎，能夠運行經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)將彩色圖像作為輸入并輸出去噪后的彩色圖像。
Visidon 深度神經(jīng)網(wǎng)絡(luò)示例
圖像去噪的過程有著悠久的歷史。現(xiàn)代 CMOS 成像器的工作方式，可以被認(rèn)為是一組光子計數(shù)器。光子以平均速率到達(dá)傳感器：在波動相對較高的暗區(qū)較少，但在波動相對較低的較亮區(qū)域（即更好的信噪比）中更多。波動是由于光的物理學(xué)而產(chǎn)生的噪聲（使用泊松統(tǒng)計），通常無法避免。但是，可以通過進(jìn)一步處理去除噪聲。關(guān)鍵是在不破壞圖片內(nèi)容的情況下做到這一點。
多年來，已經(jīng)提出了許多解決方案。這些包括簡單地稍微模糊圖片、使用雙邊濾波器的復(fù)雜方法、基于流形理論的貝爾特拉米濾波器、尺度空間卡爾曼濾波器等。
關(guān)于去噪的有趣點首先是噪聲在圖像的平坦區(qū)域中最明顯（對而言），而噪聲在邊緣附近不太明顯（對而言）。然而，邊緣最有可能被許多去噪算法以其他方式模糊或損壞。損壞的邊緣在感知上與噪音一樣糟糕！
Visidon 已經(jīng)創(chuàng)建了一個卷積神經(jīng)網(wǎng)絡(luò)模型（相鄰），完全實現(xiàn)了所需的目標(biāo)——去除噪聲并同時保留彩色圖像中的邊緣。
Imagination 的 Series4 多核 NNA 在執(zhí)行 Visidon 的去噪網(wǎng)絡(luò)時，提供高性能計算解決方案，同時在低功耗和小面積方面是同類產(chǎn)品中的佼佼者。
圖 1 顯示了一組示例結(jié)果。這項工作中使用的所有圖像均為 4,096 x 3,072。這張圖片在黑暗的夜間背景上有明亮的白色和藍(lán)色燈光；原始圖如圖 1a 所示，每個像素 x100 的 RMS 誤差如圖 1b 所示。誤差是在來自網(wǎng)絡(luò)的浮點結(jié)果和通過將網(wǎng)絡(luò)量化為 16 位，在 Imagination 的 NNA 上運行網(wǎng)絡(luò)生成的結(jié)果之間得出的。
圖 1（下圖）顯示了一個特別困難的圖像——然而，任何 8 位顏色通道的最大差異是 +/-1。還展示了（圖 1c）原始噪聲圖像的裁剪，d）來自浮點網(wǎng)絡(luò)的輸出，e）量化網(wǎng)絡(luò)和 f）由 Visidon 的網(wǎng)絡(luò)浮點實現(xiàn)提供的結(jié)果。無色彩失真，有效消除噪點，邊緣完好無損。

圖 1.“困難”圖像示例。在查看的十張示例圖像中，所有結(jié)果都遵循相似的模式。在圖 2 所示的日光場景中，每個顏色通道的每個像素沒有超過 +/- 1 的錯誤發(fā)生。此圖像中的噪點不太明顯，但選擇了裁剪圖來證明降噪不會在任何顏色的邊緣產(chǎn)生偽影。

圖 2. 沒有邊緣或顏色失真的日光場景
在下一張圖片（圖 3）中，展示了一張明亮的測試圖表。同樣，沒有大于 +/- 1 的錯誤，并且詳細(xì)的裁剪顯示缺少邊緣偽影，這是 Visidon 算法的一個特征。

圖 3. Visidon 結(jié)果：明亮的測試圖表。
最終的圖像結(jié)果（圖 4）顯示了在低光下拍攝的測試圖 - 另一個非常困難的圖像。在這里，清楚地看到了噪聲（泊松統(tǒng)計數(shù)據(jù)的信噪比隨著平均水平的降低而變差）。在原始圖像的細(xì)節(jié)中（圖 6c），在較亮和較暗的區(qū)域，嚴(yán)重的顏色噪聲都很明顯。這是單獨的紅色、綠色和藍(lán)色通道中不相關(guān)的波動產(chǎn)生隨機(jī)顏色變化的結(jié)果（近似于三個維度的 Rician 統(tǒng)計）。
Visidon 的去噪算法消除了亮度（亮度）和色度（顏色）中的噪聲，同時保留了邊緣。值得注意的是，來自網(wǎng)絡(luò)的浮點結(jié)果與來自網(wǎng)絡(luò)的 16 位量化結(jié)果之間沒有明顯差異，而且這兩個結(jié)果之間的最大差異在任何像素和任何顏色通道上都是 +/-1。

圖 4. Visidon 結(jié)果：低光測試圖表。

IMG Series4 多核
圖 5. IMG 4NX-MC8 示意圖
圖 5 中的 IMG 4NX-MC8 具有先進(jìn)的架構(gòu)特性，并提供一系列多核版本。4NX-MC1 有一個單核，最高可達(dá) 12.5 TOPS（1 TOPS = 1 Tera 操作每秒）。
Imagination 的 4NX-MC1、4NX-MC4 和 4NX-MC6 內(nèi)核的性能如下表 1 所示。

表 1. Imagination NNA 內(nèi)核在使用 Imagination 標(biāo)準(zhǔn)工具鏈生成的 Visidon 降噪網(wǎng)絡(luò)上的性能和配置
結(jié)論
總而言之，這是一個深度卷積神經(jīng)網(wǎng)絡(luò)的一個非常有趣的例子，從作為輸入的圖像中產(chǎn)生作為輸出的圖像。
在圖像質(zhì)量方面的表現(xiàn)非常出色，因為在處理高質(zhì)量圖像時去噪是一個難題。結(jié)果的保真度反映了 Visidon 算法的質(zhì)量，特別是選擇的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方式。還非常清楚地表明，量化網(wǎng)絡(luò)（在這種情況下為 16 位）可以提供與浮點網(wǎng)絡(luò)幾乎相同的結(jié)果。
值得一提的是，確實研究了較低的位深度。大多數(shù)神經(jīng)網(wǎng)絡(luò)中的錯誤在 8 位執(zhí)行時會增加一點。根據(jù)應(yīng)用程序，錯誤的小幅增加可能是可以接受的。在高質(zhì)量圖像增強的背景下，人類觀察者可以看到非常小的錯誤。8 位數(shù)據(jù)（激活）時平坦區(qū)域的條帶很明顯，8 位權(quán)重時顏色失真很明顯。
使用 16 位數(shù)據(jù)和 16 位權(quán)重運行網(wǎng)絡(luò)根本不會留下任何可見的偽影，并且輸出圖像中任何像素和顏色的差異都是 +/- 1。
通過運行 Visidon 的去噪網(wǎng)絡(luò)，Imagination 的 NNA 的性能展示了其超越傳統(tǒng) AI 應(yīng)用程序的能力及其在圖像增強方面的適用性。

參考鏈接：
https://www.imaginationtech.com/blog/imaginations-neural-network-accelerator-and-visidons-denoising-algorithm-prove-to-be-perfect-partners/
刪除線格式

總結(jié)

以上是生活随笔為你收集整理的Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。