干貨 | VMAF視頻質量評估在視頻云轉碼中的應用

作者介紹：姜生，PP云高級技術經理，10余年視頻編解碼算法設計優化，流媒體應用等領域開發經驗。

一 、VMAF 技術介紹：

VMAF 的全稱是：Visual Multimethod Assessment Fusion，視頻質量多方法評價融合。這項技術是由美國Netflix公司開發的一套主觀視頻質量評價體系。2016年1月，VMAF 正式開源；

下載地址：

https://github.com/Netflix/vmaf

二 、通行視頻質量評價方法的局限：

評價一個編碼后的視頻流與壓縮前的視頻流質量對比值，通行的方法是PSNR(峰值信噪比)，或者SSIM(結構相似度)。這些是客觀評價方法。這些方法評價的結果與主觀的感受有時候相差很大，請看下圖(來自Netflix 的官網)：

圖一

上面四幅圖，取自4幅靜態畫面，畸變程度不一樣。用PSNR指標來評分，上面兩幅圖的PSNR值大約為31dB, 下方兩個的PSNR值約為34dB，這表明上面兩幅圖PNSR 值相當，下面兩幅圖的PSNR值也相當。如果讓人眼來主觀評價呢，對于左側上下兩幅“人群”圖片，很難察覺有何差異，但是右側兩幅“狐貍”視頻的差異就很明顯了。Netflix綜合不同觀眾的評價，對上下兩個“人群”給出的主觀分數是82(上方)和96(下方)，而兩個“狐貍”的分數分別是27(上方)和58(下方)。

上面的示例說明PSNR一類的客觀評價與實際的主觀感受相差較大。這說明這種方法不足以全面正確的評價視頻的質量，為此Netflix 決定尋找新的方法。

三、Neflix對視頻源特性的分析：

1. 收集與用例密切相關的數據集：

雖然針對視頻質量指標的設計和測試已經有可以公開使用的數據庫，但這些數據庫的內容缺乏多樣性。而多樣性正是流媒體服務的最大特點。由于視頻質量的評估遠不僅僅是壓縮失真的評估，所以應該考慮更廣范圍的畫質損失，不僅有壓縮導致的損失，還有傳輸過程中的損失、隨機噪聲，以及幾何變形等情況。

2. 視頻源的特性：

作為流媒體公司， Netflix 提供了適合各類人群觀看的大量影視內容，例如兒童內容、動漫、動作片、紀錄片，視頻講座等. 另外這些內容還包含各種底層源素材特征，例如膠片顆粒、傳感器噪聲、計算機生成的材質、始終暗淡的場景或非常明亮的色彩等。過去通行的質量指標并沒有考慮不同類型的源內容，如動漫或者視頻講座一類，也未考慮膠片顆粒，而在專業娛樂內容中這些都是非常普遍的信號特征。

3. 失真的來源：

一般而言，流播視頻是通過TCP傳輸的，丟包和誤碼絕對不會導致視覺損失。這就使得編碼過程中的兩類失真最終影響到觀眾所感受到的體驗質量（QoE）：壓縮失真以及縮放失真。

為了針對不同的用例構建數據集，Netflix選擇了34個源短片作為樣本(參考視頻)，每個短片長度是6秒，主要來自于流行的電視劇和電影。源短片包含具備各種高級特征的內容（動漫、室內/室外、鏡頭搖移、面部拉近、人物、水面、顯著的物體、多個物體）以及各種底層特性（膠片噪聲、亮度、對比度、材質、活動、顏色變化、色澤濃郁度、銳度）。將這些源短片編碼為H.264/AVC格式的視頻流，分辨率介于384x288到1920x1080之間，碼率介于375kbps到20,000kbps之間，最終獲得了大約300個畸變（Distorted）視頻。這些視頻涵蓋了很大范圍的視頻碼率和分辨率，足以反映實際生活中多種多樣的網絡環境。

接著，通過主觀測試確定非專業觀察者對于源短片編碼后視頻畫質損失的評價。參考視頻和畸變視頻將按順序顯示在家用級別的電視機上。如果畸變視頻編碼后的分辨率小于參考視頻，則會首先放大至源分辨率隨后才顯示在電視上。將所有觀察者針對每個畸變視頻的分數匯總在一起計算出微分平均意見分數（Differential Mean Opinion Score）即DMOS，并換算成0-100的標準分，其中100分是指參考視頻的分數。

四、評價的結果：

Netflix 推出了二維散點圖來說明上面分析的結果，我從中選取四幅有代表性的散點圖。

散點圖中，橫軸對應了觀察者給出的DMOS分數，縱軸對應了不同質量指標預測的分數。每一個點代表了一個畸變視頻。我們為下列四個指標繪制了散點圖：

• PSNR亮度分量（Luminancecomponent）

• SSIM

• Multiscale FastSSIM

• PSNR-HVS

圖二

注意：相同顏色的點對應了畸變視頻和相應參考視頻的結果。從圖中可以看出，這些指標的分數與觀察者給出的DMOS分數并非始終一致。以左上角的PSNR圖為例，PSNR值約為35dB，而“人工校正”的DMOS值的范圍介于10（存在惱人的畫質損失）到100（畫質損失幾乎不可察覺）之間。

上圖中的專有名詞：

斯皮爾曼等級相關系數（Spearman’srank correlation coefficient，SRCC）

皮爾森積差相關系數（Pearsonproduct-moment correlation coefficient，PCC）

上面的SRCC, PCC屬于概率統計的概念，可以參考相關文檔，這兩個值越大越好。

為了找到一個有效的評價標準，必須選定一個有效的指標，指標必須呈現與DMOS 有限的單調性。下圖中選定了三個典型的參考視頻：一個高噪聲視頻，一個CG動漫，一個電視劇，并用每個視頻的不同畸變版本的預測分數與DMOS分數創建散點圖。為了獲得有效的相對質量分數，我們希望不同視頻短片在質量曲線的相同范圍內可以實現一致的斜率（Slope）。

PSNR散點圖中，在34dB到36dB的范圍內，電視劇PSNR數值大約2dB的變化對應的DMOS數值變化約為50（50到100），但CG動漫同樣范圍內類似的2dB數值變化對應的DMOS數值變化低于20（40到60）。雖然CG動漫和電視劇短片的SSIM和FastSSIM體現出更為一致的斜率但表現依然不夠理想。

簡單總結來說，傳統指標不適合用來評價視頻質量。為了解決這一問題，我們使用了一種基于機器學習的模型設計能真實反映人對視頻質量感知情況的指標。下文將介紹這一指標。

五、 VMAF 方法：

基本想法：

面對不同特征的源內容、失真類型，以及扭曲程度，每個基本指標各有優劣。通過使用機器學習算法（支持向量機（Support Vector Machine，SVM）回歸因子）將基本指標“融合”為一個最終指標，可以為每個基本指標分配一定的權重，這樣最終得到的指標就可以保留每個基本指標的所有優勢，借此可得出更精確的最終分數。我們還使用主觀實驗中獲得的意見分數對這個機器學習模型進行訓練和測試。

VMAF可在支持向量機（SVM）回歸因子中使用下列基本指標進行融合：

1. 視覺信息保真度（Visual Information Fidelity，VIF）：

VIF是一種獲得廣泛使用的圖像質量指標，在最初的形式中，VIF分數是通過將四個尺度（Scale）下保真度的丟失情況結合在一起衡量的。在VMAF中我們使用了一種改進版的VIF，將每個尺度下保真度的丟失看作一種基本指標。

2. 細節丟失指標（Detail LossMetric，DLM）：

LM是一種圖像質量指標，其基本原理在于：分別衡量可能影響到內容可見性的細節丟失情況，以及可能分散觀眾注意力的不必要損失。這個指標最初會將DLM和Additive Impairment Measure（AIM）結合在一起算出最終分數。

3. 運動：

這是一種衡量相鄰幀之間時域差分的有效措施。計算像素亮度分量的均值反差即可得到該值。

下列散點圖對所選參考短片（高噪聲視頻、CG動漫、電視劇）得出的VMAF指標分數。為了方便對比，我們也附上了上文提到的結果最理想的PSNR-HVS指標散點圖。無疑VMAF的效果更好。

六 總結：

改善視頻壓縮標準，以更智能的方式確定最實用的編碼系統和編碼一整套參數，這些要求在當今的互聯網大環境中十分重要。我們認為，使用傳統的指標會妨礙到視頻編碼技術領域的技術進步，然而單純依賴人工視覺測試在很多情況下并不可行。因此我們希望VMAF能解決這一問題，使用來自我們內容中的樣本幫助大家設計和驗證算法。

七 、拓展：

1. per title 編碼：

我們希望能利用VMAF 繪制每一個clip 的不同分辨率下的bitrate vs MOS 的曲線圖，并保存這個曲線圖。在實際點播的時候，根據resolution，MOS 選擇一個最佳的bitrate，來編碼：

下面是我繪制的Bkimono_1920x1080_8_24_240.yuv 的散點圖：

設置編碼參數時，如果需要達到MOS=80的清晰度，bitrate 可以選擇2.0MB. 可以看出當bitrate 超過3MB 后，MOS 值變化非常緩慢，對于指定的MOS 值，我們可以選擇一個bitrate 下降20%甚至更多的bitrate的編碼參數，但是MOS 不會下降1%。

這中方法相比單純通過優化編碼器的方法，效果要明顯很多，智能很多，同時實現起來要容易。應該就是當前窄帶高清的理念了。

2. per trunk 編碼：

對于每一個clip 而言，不同的gop，或者不同的時間段，視頻流的細節和運動特點不一樣，可以用VMAF 的方法為每一個時間段做評價，進而實時調整編碼參數，在同樣的質量前提下，盡量降低碼率。