Multispectral imaging for medical and industrial machine vision systems

用于醫療和工業機器視覺系統的多光譜成像

這是最近讀的一篇文章，寫下來有所收獲

現如今成像技術已經遠遠超越了傳統顏色，標準RGB不足以完成檢測任務。一些應用需要非傳統的RGB波長，而另一些則需要可見和非可見波長的組合。另一些只需要非可見波長，如（UV）紫外、（NIR）近紅外或（SWIR）短波紅外，這些波長在可見光譜中沒有波段。
波長可以用濾光片或對特定波長(包括可見光以外頻率的光，如紅外線)敏感的儀器來分離。光譜成像還可以提取人眼無法捕捉的額外信息。本次的文章介紹了關于多光譜成像解決方案，以及如何利用各種相機功能來滿足應用需求。

Chapter 1.什么是多光譜成像

“多光譜成像”，字面意思是用一個以上的光譜波段進行成像。根據這個定義，即使是RGB相機也可以歸入多光譜成像的范疇。科學文獻中的定義：多光譜成像可以由光譜波段組成，這些波段彼此分開定位。它們不必是連續的。高光譜的圖像是在高波段波段彼此連續的。

5個不同波段的多光譜相機響應示例

4個不同波段的多光譜相機響應示例

12個不同波段的多光譜相機響應示例

多光譜成像在確定的光譜范圍內的選定位置使用目標波長的子集，高光譜成像技術使用連續和連續的波長范圍(例如，以1 nm為步長，400-1100 nm)。這一特征是高光譜成像和多光譜成像最明顯的區別。

高光譜與多光譜成像區別

Chapter 2.多光譜成像應用

多光譜成像增強了在農業、醫療和其他工業應用中使用機器視覺攝像機的檢測能力。
1.農業方面
（1）評價土壤生產力和分析植物健康狀況的一種非常有效的工具。用肉眼觀察土壤和作物的健康是非常有限的，是反動的。多光譜傳感器技術可以讓農民看得比肉眼更遠。
（2）除了估算作物產量外，多光譜成像還可以幫助農民查看受損作物，并對作物生長管理作出必要的修改。利用多光譜成像技術對雜草、病害和害蟲進行識別越來越受到人們的歡迎，因為早期檢測有助于優化植物生長的方法和資源。
（3）多光譜成像還可以幫助計數植物和確定農場人口密度。它不僅有助于提供土壤肥力的數據，而且在與作物生產有關的土地管理方面具有巨大的潛力。
（4）除了與植物生長相關的幫助外，多光譜成像結合深度學習和人工智能也可以幫助控制和測量作物灌溉和監測牲畜。
（5）果蔬產品的檢測，多光譜成像可以提供可見光和非可見光波段的組合，以測量和分析外部特征(如顏色、質地、表面損傷、形狀和大小)和內在特征(如干物質含量、成熟度、水分含量、糖和脂肪含量)。
2.醫學
（1）肉類和魚類的檢查中，多光譜成像有助于分析切割、脂肪和骨骼含量，檢查皮膚表面的損傷和肉類的顏色。多光譜成像可以增加巨大的價值在醫療應用，特別是在外科任務。將彩色圖像與近紅外波段相結合可以幫助定位和區分腫瘤和周圍組織。多光譜設置可以通過許多方式實現，但使用基于棱鏡的多傳感器攝像機是一種非常有效和經濟的方式，也降低了系統的復雜性。
（2）對于內窺鏡，外科成像應用，兩或三幅不同波段的圖像可以同時捕獲。這些圖像將被“融合”，這樣來自非可見近紅外通道的元素將覆蓋在可見的RGB圖像上，為外科醫生提供他或她正在操作的組織或血管的“增強”視圖。

總之在需要應用到分離光譜的領域，都需要應用到多光譜成像技術

Chapter 3.多光譜相機技術

早先的多光譜成像技術大多應用于航空航天領域。隨著時間的推移，基于傅里葉變換光譜、液晶可調諧濾波器、寬窄帶濾波器等不同類型的多光譜系統得到了發展。隨著各種方法的改進，它們已經從超高端衛星和藝術保護系統轉移到機器視覺相機，提供分辨率、幀率和價格的組合，使它們能夠用于廣泛的多光譜應用。

1 多光譜成像技術方案

（1）Two (or more) independent cameras (area or line scan)兩個(或更多)獨立攝像頭(區域或行掃描)
為機器視覺設置更多的光譜范圍的方法是將多個攝像機對準目標。例如：如果水果商想要檢查顏色和尋找瘀傷，可以在設置中增加一個彩色相機和近紅外相機。但將兩幅圖像的光譜圖像結合到單一的檢查步驟是極具挑戰的。因此，任何試圖“融合”兩副圖像通常是不成功的。多增加的相機成本也會增加。
（2）Filter-wheel camera (area scan)濾輪攝影機(區域掃描)
濾光輪相機（多窄帶基于濾光片的成像儀）通過旋轉安裝在傳感器或者鏡頭前的濾光輪中的濾光片來捕獲多通道光譜圖像，通常支持12及以上波段，可定制過濾器，但成像速度慢、耗時長、圖像配準復雜、幾何畸變復雜、定制濾波器成本高、系統魯棒性差。

（3）Pixelated multispectral filter array (area scan)像素化多光譜濾波器陣列(區域掃描)
使用拜耳彩色濾光片陣列(CFA)和demosaicing的單傳感器成像在目前的緊湊型和低成本彩色數碼相機中已經得到了很好的應用。通過將CFA的概念擴展到多光譜濾波器陣列(MSFA)，人們可以在一次拍攝中獲得多光譜，在某些情況下甚至是高光譜圖像，而無需增加尺寸或成本。這種捕獲方法也稱為快照拼接成像。
快照馬賽克傳感器可以支持4到40個通道的VIS(可見)，VIS- nir和NIR-SWIR波長。在批量生產中實現非常高的基于像素的一致性一直是一個挑戰。真實世界的波段可以有一個相對較高的串擾，這可以影響整體的光譜靈敏度，像素依賴的噪聲參數，和光譜重建的準確性。

（4）Two cameras with a beam splitter (area scan)帶有分束器的兩個攝像頭(區域掃描)
解決與多獨立相機方法相關問題的一種方法是引入一個光束分束器元素，它可以同時從一套通用光學系統中在多臺相機上捕捉圖像。例如，使用兩臺拜耳模式攝像機，可以捕獲兩幅3波段圖像，并將其重建為6通道(2倍RGB)光譜圖像。
最大的缺點是系統中有多個攝像頭，系統變得相當大和昂貴。此外，使用分束器會造成光強的損失。這種方法通常需要高功率照明，因此需要在高速和系統的光敏性之間進行權衡。

（5）Multi-sensor dichroic prism camera (area or line scan)多傳感器二色棱鏡相機(面掃描或線掃描)
乍一看，這似乎與分束器方法非常相似，但有兩個非常顯著的區別。首先，只有傳感器，而不是完整的攝像機，被安裝并對準了棱鏡面。這使得前面描述的多攝像頭光束分束器成像系統的尺寸顯著減小。其次，棱鏡塊使用硬二色涂層作為干涉濾光片，引導入射光到每個傳感器的適當光譜范圍。因此，不是將相同的光分割到多個通道，從而降低其強度，而是每個通道接收到它需要捕獲的范圍內的全部光，無論這是光譜中可見或不可見區域的寬波段或窄波段。與鑲嵌方法不同的是，可以實現每個波段的全空間分辨率。在區域掃描場景中，分辨率高達3.2萬像素，每波段100 fps以上，而在行掃描場景中，每波段8192像素，35 kHz是可能的。這種方法的主要限制是棱鏡的尺寸，因此相機需要支持多個大的傳感器。這可能會限制可使用的傳感器的最大分辨率和/或像素大小。
（6）Multi-line camera (trilinear with filters, quad, TDI-style line scan)多線相機(帶濾鏡的三線，四線，tdi風格的線掃描)
帶有多線傳感器的線掃描相機也可用于多光譜應用。帶有三線性RGB傳感器的線掃描相機在彩色成像應用中很受歡迎。四線傳感器攝像機可以由RG-B-NIR或R-G-B-monochrome組成。這是實現多光譜成像的方法之一。
這種方法的缺點是光譜通道的數目越高，系統的水平分辨率就越低

（7）Pushbroom cameras for multispectral imaging (line scan)用于多光譜成像(線掃描)的推掃相機
傳統上用于高光譜相機的“推掃法”也可以應用于多光譜成像，為可捕獲的光譜波段增加了很大的靈活性。通過這項技術，可以逐行捕獲全部空間和光譜信息。掃帚相機由三個主要部件組成，鏡頭、成像光譜儀和硅基圖像傳感器(在VIS-NIR的情況下)或InGaAs傳感器(在NIRSWIR的情況下)。
雖然這種技術提供了很好的靈活性，但缺點是隨著信道數量的增加速度加快。在全范圍(224波段)，這是一個高光譜方法，幀率只有500赫茲。是可能的。這對于許多工業應用來說太慢了。

2 多光譜成像的區域掃描與線掃描

在解釋的多光譜成像方法中，只有很少的方法可以用于高速、工業應用。在區域掃描中，基于多傳感器棱鏡的方法非常適合于大批量生產的高速產品的檢測。其他用于區域掃描的方法，如像素化多光譜像素陣列(快照鑲嵌)和基于濾波輪的方法對于工業成像來說太慢。除此之外，利用快照拼接相機進行像素信息的空間分辨率和重構也是非常具有挑戰性的。基于濾鏡輪的相機體積龐大，由幾個運動部件組成，這降低了該方法的魯棒性。盡管如此，與基于多傳感器棱鏡的方法相比，快照鑲嵌和濾波輪方法提供更多的光譜波段。快照馬賽克適合農業，智能農業，以及不需要良好空間精度的醫學成像應用。濾鏡輪式相機特別適合于舊繪畫和古典藝術的數字存檔。基于多傳感器棱鏡的相機在精準農業、智能農業、水果、蔬菜、肉類、海鮮和工業產品(如食品和藥品包裝、電子和印刷電路板)的在線檢查方面工作得很好。
對于線掃描相機的多光譜成像，主要有兩種具有良好潛力的方法。一種是使用Pushbroom高光譜傳感器，它允許從高光譜方法(225個光譜波段)縮小到多光譜方法(5個光譜波段，6.5kHz線率)，這使得該方法可以用于工業中速應用，如食品、回收和包裝商品的檢查。
基于多傳感器棱鏡的線傳感器方法允許非常高的速度(在4K像素高達77khz)，并同時成像可見光和近紅外波段的組合多達四個光譜波段。速度使它可能使用這種方法的所有高速應用基于皮帶，車道或自由落體排序。
第三種方法——使用帶有光學過濾器的標準三直線傳感器，降低水平線分辨率，并實現6到12個通道——多年來一直試圖進軍印刷、食品、陶瓷和紡織品檢測領域，但由于復雜的校準程序，一直未能成功。精度低，api使用困難。

Chapter 4.多光譜相機選擇時的影響因素

1.Ease of setup (system integration)

使用多光譜成像比使用標準機器視覺攝像機復雜得多。為了安裝和集成不同組件的多光譜成像系統,重要的是要有良好的專業知識,不僅對相機標定過程包括光源、自然的對象進行檢查,瓶頸引起的數據處理和圖像數據的修正。整個系統集成可能不像高光譜系統那樣復雜，但這取決于用戶想要用多光譜成像系統實現什么。

2.Speed & Resolution

工業檢驗程序要求高吞吐量。許多多光譜系統的讀出結構和結構在速度上受到限制。速度取決于波長通道的數量、使用的多光譜技術的類型和接口。光譜波段的數目越高，就越難以在高速應用中捕獲所需的光量。空間分辨率也可能是多光譜成像的一個挑戰，特別是在檢查小物體時。基于快照拼接傳感器的相機使用插值來估計從單個像素值中缺失的空間信息，但當涉及到檢查較小的缺陷尺寸時，這不是非常準確。每個應用程序可能需要在可能的多光譜通道數量和可實現的速度和分辨率之間進行不同的權衡。

3.Number of spectral wavebands

應用程序所需的光譜波段數實際上取決于要檢查的對象的性質、所需的檢查精度，以及通過使用額外的光譜估計技術在圖像處理方面可以達到什么精度。在一些應用中，如紅色邊緣檢測或NDVI分析，很清楚地知道在紅色和近紅外區域的哪些波段需要從植物中獲取所需的數據。對于塑料和有機材料來說也是如此，因為這些材料的光譜數據眾所周知。另一個例子是熒光內窺鏡，ICG吸收和熒光緩解帶是已知的。在這種情況下，可能不要求超出有限數量的波段。然而，也有一些應用涉及到需要檢測的不同材料的混合，或需要多個光譜波段來準確識別特定的波段，或基于多光譜成像的光譜顏色測量應用。這種應用需要相對較多的光譜波段。

4.Flexibility

靈活或可擴展的多光譜系統主要適用于不同類型的材料在同一臺機器上檢測的應用。靈活性允許用戶根據應用的需要調整多光譜成像系統。這種靈活性主要取決于所需的光譜波段的數量，這確實增加或減少了成像系統的速度。某些系統的靈活性還意味著較低的魯棒性，因為可能有需要替換的更改或移動部件(例如，在濾波輪方法中，濾波輪可以很容易地替換，但它在系統中添加了一個對系統魯棒性有影響的移動部件)。另一方面，有些相機在制造時具有靈活性，但一旦產品完成就沒有靈活性。多傳感器棱鏡相機在制造過程中具有靈活性相機的光譜響應可根據硬二色涂層和基棱鏡參數進行選擇。然而，一旦棱鏡傳感器組裝完成，就無法更改。基于快照拼接傳感器的相機具有相同的邏輯。一旦多光譜濾波器陣列固定在傳感器上，就不能在檢查任務中更換或修改它。

5.Handling of the multispectral data cube and data-streaming

多光譜成像的挑戰之一是處理多光譜數據立方體。這遠沒有高光譜數據立方體復雜，高光譜數據立方體可以是每個像素幾百個光譜，但它比處理傳統的RGB相機系統更復雜。系統結構必須具有正確處理、過濾和解釋多光譜數據的能力。頻譜通道的數量越少，這就越不復雜。第二個挑戰來自于數據從相機流到處理站的方法。在多流的情況下，它的優點是單個數據流可以被獨立控制，挑戰是如何在應用軟件上管理這些數據流。處理多流需要能夠同時處理兩個或更多流的軟件架構。專為單流設計的軟件期望設備要么發送單幀，要么發送多部分有效負載，這些都是在同一時間可用的。因此，對于單幀和多部分有效負載，用戶可以調用單個函數并從一個流獲取圖像。然而，有一些平臺，如JAI的eBUS Player，可以在只讀模式下第二次或第三次打開相機設備，并處理多個數據流。

6.System costs

決策的一個驅動因素總是成本。緊湊，用戶友好，批量生產的相機成本低于高度專業化和龐大的系統。成本還受到需要執行的檢查任務的驅動。與研究、高科技或科學成像領域的應用相比，終端消費者或接近終端消費者驅動的應用，如食品和農業檢驗，對價格更為敏感。如今，高端高光譜成像系統的價格在每臺相機系統2萬歐元左右。大規模生產的多光譜相機應該遠低于10,000歐元的標準，以具有商業吸引力。基于多光譜相機的多光譜相機比其他方法，如基于多傳感器棱鏡的相機或基于多光譜陣列的相機更昂貴。值得注意的是，成本討論必須考慮到多光譜成像能夠提供的價值，以解決或簡化現有成像問題。

Chapter 5.高光譜和多光譜相機的未來

用于測量物體光譜足跡的傳統光譜儀已經經過了幾十年的試驗和測試。這些都是非常精確的，但并不適用于更大的視場，而且點測量技術在最近幾年也沒有獲得太多的發展勢頭。

基于相機的成像技術是光譜成像的未來。然而，眾所周知的事實是，高光譜成像在成像和圖像處理的所有領域都提供了巨大的潛力。這是因為光譜成像或光譜分析是任何材料的最終物理足跡。在尋找這種光譜足跡的過程中，高光譜成像技術將繼續發展。事實上，從空間和衛星成像到現在可以用于許多機器視覺應用，它已經走過了很長的一段路。它在實驗室和研究應用方面取得了很大進展。但是，盡管這項技術有潛力，但在工業應用方面還沒有取得很多突破。我們確實看到一些地區使用的工業成像高光譜成像,我們聽到很多炒作的可能性與技術,然而作為第四章解釋說,它仍然是非常復雜的,昂貴的,技術上不及格的工業檢測應用程序。
從商業的角度來看，公司希望實現利基技術，但同時也希望市場能夠負擔得起，以便獲得較大的市場份額。這在今天的高光譜成像中是不可能的。鑒于目前高光譜成像的局限性，多光譜成像作為一種橋梁技術，以高吞吐量、高分辨率、高穩穩性、有競爭力的價格、易于使用和基于有限數量的光譜波段進行工業化大批量商品檢測。

多讀文獻多了解行業發展，今天心情不太好，后邊好多都是直接搬運的原文機翻，大家都要做情緒的主人啊！！！不以物喜不以己悲，共勉！

總結

以上是生活随笔為你收集整理的Multispectral imaging for medical and industrial machine vision systems（用于医疗和工业机器视觉系统的多光谱成像）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。