1. 概述

視頻/圖像質量評價(Video/Image Quality Assessment)是指通過主客觀的方式對兩幅主體內容相同的圖像信息的變化與失真進行感知、衡量與評價。

視頻/圖像質量評價包括視頻/圖像的逼真度與可懂度，逼真度是指被評價圖像與標準圖像的偏離程度，可懂度是指表示圖像能向人或計算機提供信息的能力。評價方法分為主觀評價方法和客觀評價方法兩種。主觀評分一般是平均主觀得分(mean opinion score, MOS)或平均主觀得分差(difference mean opinion score, DMOS)來表示。前者是通過對觀察者的評分歸一化來判斷圖像質量，后者是通過觀察者對無失真圖像和有失真圖像評價得分差異再歸一化來判斷圖像質量。

客觀評價方法是計算機根據算法計算出視頻/圖像的質量指標。雖然客觀評價方法是讓計算機盡量從人的主觀視角出發來預測特定視頻的評分，但不同客觀評價指標與主觀感受的符合程度差距較大。可以基于預測的準確性、一致性、穩定性、單調性來衡量評價指標本身的好壞。所謂準確性是指主觀評價打分和客觀評價指標分數的相似性；一致性是指不應僅對某種類型的視頻/圖像表現良好，而應該對所有類型的視頻/圖像都可以表現良好；穩定性是指對同一視頻/圖像每次評價的結果數值應該相同或誤差在可接收的范圍內；單調性是指評價分數應該如隨MOS分的增減呈現相應的單增或單減。衡量客觀評價方法的指標是通過客觀評價模型輸出QR與主觀MOS的非線性擬合后變化為MOS_P，準確性體現在MOS與MOS_P的Pearson線性相關系數，一致性體現在MOS_P的離群率，穩定性體現在每次相同輸入后輸出非線性擬合得到的MOS_P間誤差，單調性體現在MOS與MOS_P之間的Spearman階相關系數。

客觀評價方法的應用場景也比較豐富，首先，可以用該評價方法衡量編解碼算法以及其軟硬件實現的優劣；其次，可以評估視頻/圖像經過通信傳輸系統后的損傷來衡量通信傳輸系統的優劣；再次，可以衡量圖像增強、圖像重建算法的優劣；最后，評價方法的結果可以反饋給信源端的編碼器為下一步的參數設置提供依據，進而有針對性的對編解碼損耗、通信傳輸過程中的損傷進行參數優化與重新配置。

客觀評價指標分為三類：基于誤差的評價指標、基于感知模型與圖像結構信息的評價指標以及基于機器學習的評價指標。基于誤差評價指標是將壓縮圖像和原始圖像進行對比，計算兩個圖像之間的差異(稱為噪聲或誤差)，代表指標是均方誤差(Mean square error, MSE)、峰值信噪比(Peak signal noise ratio, PSNR)。基于感知模型與圖像結構評價指標通過引入人類視覺系統模型(Human Visual System, HVS)將圖像質量下降轉化為感知結構信息的變化和一些感知現象(亮度、對比度、觀看距離)的變化，對人類如何感知這些誤差進行數學建模，代表指標是結構相似度(Structure similarity Index, SSIM)、恰可識別閾值(Just Noticeable Difference, JND)。基于機器學習的評價指標一般用來度量長時間視頻，從某個可訓練的模型開始，將基于誤差評價指標或基于感知評價指標結果與主觀MOS分數進行比較，并對模型進行微調以使其隨時間推移而改善，或是多種評價指標體系的融合，這些多種指標包括度量圖像質量的指標和度量時間質量的指標，基于機器學習的評價指標有代表性的指標是視頻多評估方法融合(Visual Multimethod Assessment Fusion, VMAF)。

此外，從對參考視頻/圖像的依賴上，還可以分為全參考方法(Full reference, FR)、半參考/部分參考方法(Reduced reference, RR)和無參考(No reference, NR)方法三類評價方法。全參考方法需要提供一個無失真的原始圖像，經過對二者的比對得到一個對失真圖像的評價結果，前文所提的MSE、PSNR、SSIM以及視覺信息保真度(Visual information fidelity, VIF)、視覺信噪比(Visual signal to noise ratio, VSPR)、最顯著失真(Most apparent distortion, MAD)、圖像差異預測(Image di?erence prediction, IDP)等都是全參考方法。半參考/部分參考方法是指參考的不是原視頻/圖像，而是從原視頻/圖像中提取的某些特征或是添加的一些信息，并通過無損傷的輔助信道傳至信宿，在對經過有損傷的主信道傳輸過來的視頻/圖像進行特征提取，來分析這些特征信息的損耗程度，進而反映視頻/圖像的質量受損程度。典型的評價方法有：基于特征提取的方法、基于諧波強度的方法以及基于小波域統計模型的方法。無參考方法是完全沒有原視頻/圖像來進行視頻/圖像質量評價，一般方法是將質量因素分解為某類失真、效應或噪聲，然后建立相應的評價模型。由于互聯網視頻應用的爆發增長以及其參考源難以獲取的特性，無參考質量評價方法成為近些年來的研究熱點，時域ITU-P.910和空間域ITU-P.910是無參考方法。

2. 客觀指標

2.1 均方誤差(Mean square error, MSE)

原理與框架：原始參考幀和失真幀直接做差取平方求和，此外一些其他傳統評價指標如絕對誤差(Mean absolute error, MAE)、根均方誤差(Root mean square error, RMSE)、標準偏差(Standard deviation, STD)效果也類似

公式：

優點：計算復雜度低

缺點：和主觀評價差距較大

2.2 峰值信噪比(Peak signal noise ratio, PSNR)

原理與框架：峰值信號的能量與噪聲的平均能量之比，通常表示的時候取log變成分貝，由于MSE為真實圖像與含噪圖像之差的能量均值，而兩者的差即為噪聲，因此PSNR即峰值信號能量與MSE之比。PSNR是最普遍、最廣泛使用的評鑒畫質的客觀量測法，雖然和人眼看到的視覺品質不完全一致，但目前仍作為對照其他指標的基線。

公式：

優點：計算復雜度低

缺點：和主觀評價有一定差距，顏色變化會導致較低的分數

2.3 結構相似度(Structure similarity Index, SSIM)

原理與框架：人眼感知敏感性有三大特點：對空間頻率較低的對比差異敏感度較高，人眼對亮度對比差異的敏感度較色度高，人眼對一個區域的感知結果會受到其周圍鄰近區域的影響，于是需要將色彩空間轉換到HVS空間來進行評估。SSIM是從亮度、對比度與結構來對兩幅圖像的相似性進行評估。框圖如下：

在實現上，亮度用均值來表示，對比度用均值歸一化的方差表示，結構用相關系數即統計意義上的協方差與方差乘積比值來表征。此外，SSIM應用于局部可抵抗失真程度突變，效果會更好。實際是對各種局部窗口的SSIM做平均，并用高斯加權函數對每個局部的統計值進行加權防止出現塊效應。

公式：(先求均值、方差、協方差，再求亮度因子、對比度因子、結構相似因子，最后將三個因子乘在一起)

當C3 = C2/2時，SSIM可簡化成

此外可以求其平均值，即MSSIM

優點：通過感知結構信息來評價失真更接近人眼

缺點：人類視覺系統很是高度非線性的，僅僅比較兩個信號結構的相似性是不夠的，還有很大的空間未被挖掘

2.4 多尺度結構相似度(Multi Scale Structural Similarity Index, MS-SSIM)

原理與框架：圖像細節的可感知性取決于圖像信號的像素點密度、圖像到觀察者的距離以及觀察者自身的感知能力。當這些因素不同時，對給定圖像的主觀評價也會不盡相同。比如一個1080P但較模糊的畫面可能評分會比720P較銳利的畫面評分還要高，故2.3的單尺度方法可能僅適用于特定場景，而多尺度方法是可以試用不同分辨率下的方法。框圖如下：

公式：

優點：相對于單尺度的SSIM能夠適應不同分辨率與更廣泛的場景

缺點：這種通過低通和下采樣的方法仍比較粗糙，還沒有充分利用人類視覺系統高度非線性的特點

2.5 恰可識別閾值(Just Noticeable Difference, JND)

原理與框架：JND模型主要考慮了HVS的亮度掩蓋、紋理掩蓋和時域掩蓋的特性，采用非線性關系來對三者的效果進行疊加，其中亮度對比度閾值是通過像素點處局部平均背景亮度值加權得到，紋理檢測通過4個方向的高通濾波器計算得到，且取最大為紋理閾值，接下來將這兩種閾值相加，并加上其重疊效果，得到空間域的JND模型。在此基礎上通過幀間亮度差異的分段函數，給出時域掩蓋效果，乘以空間域JND模型，得到時空域的JND模型。此外，其變種還有在變換域上實現的，如DCT域或小波域。

公式：(先求亮度掩蓋、紋理掩蓋，再求空間域/時間域的JND，最后調整疊加參數常量獲得最有結果)

亮度閾值：

紋理閾值：

其中G是像素點(x,y)的邊緣梯度，β是不同顏色通道的經驗參數，W是高斯低通濾波器處理后的相關系數矩陣。

空域JND：

其中第一項Tl是亮度閾值的JNDfb(x,y)，C是疊加常量，反映了兩種掩蓋的重疊程度。

優點：利用JND 比較接近HVS，符合人眼主觀感知，甚至可以用該模型對失真圖像進行修正來消除不可察覺誤差

缺點：暫未發現

輸出值含義：

JND 分值范圍： 0~100 分， 0 分最好。

JND 值是以圖像畫面上的 32X32 像素塊為計算單位，業界推薦的分析結果是：

JND=0 ，同等于原始圖像；

JND=1 時，一般觀察者察覺不出圖像的損傷；

JND=3 時，一般觀察者在專家的幫助下找出圖像的損傷；

JND=10 時，一般觀察者感到圖像損傷；

JND＞10 以上的視頻壓縮設備不能用于廣播系統 ( 建議不將這樣設備用做視頻通信系統的信源設備 )

星號then：視頻/圖像質量評價綜述(二)?zhuanlan.zhihu.com

總結

以上是生活随笔為你收集整理的综合评价模型的缺点_视频/图像质量评价综述(一)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。