什么是视频预处理?
點(diǎn)擊上方“LiveVideoStack”關(guān)注我們
翻譯 | Alex
技術(shù)審校 | 章琦
本文來自O(shè)TTVerse，作者為Krishna Rao Vijayanagar。
預(yù)處理
Easy Tech
#006#
視頻預(yù)處理對商業(yè)編碼器來說是非常關(guān)鍵的步驟，它包括去隔行、上/下采樣、降噪等重要操作。雖然預(yù)處理并不是視頻編碼器和視頻編碼標(biāo)準(zhǔn)的組成部分，但它會顯著影響視頻壓縮效率，所以理解視頻預(yù)處理的作用至關(guān)重要。
在本篇文章中，讓我們一起來了解視頻預(yù)處理過程中的重要步驟。
? 去隔行
去隔行處理是一種常規(guī)操作：用于輸入隔行視頻格式，需要輸出逐行視頻格式時。
隔行視頻格式被開發(fā)和應(yīng)用于電視廣播制式，比如NTSC和PAL，來自奇場的奇數(shù)行和來自偶場的偶數(shù)行被交替渲染，先顯示奇數(shù)行，后顯示偶數(shù)行。只需渲染得足夠快，人眼觀看到的將會是完整的圖像。
左圖為隔行圖像，右圖為逐行圖像（圖片來自IBM）
如果你得到一個隔行視頻，并被要求輸出逐行視頻，你就需要做些工作。在這種情況下，你需要將該隔行視頻中的頂場和底場交錯排列，通過使用去隔行濾波來消除失真，然后發(fā)送給編碼器。
或者，你也可以簡單地復(fù)制奇偶場中的行（也被稱為“bobbing”）。
在過去幾十年中，去隔行獲得了廣泛研究，并出現(xiàn)了很多優(yōu)秀的產(chǎn)品和算法供你選擇使用。無論選擇哪種算法，都必然會遇到Combing artifacts（視頻中出現(xiàn)梳狀紋理，如下圖所示），所以投資好的去隔行器非常值得。
說明：早期的確如此，早期的視頻編碼器支持隔行視頻，不過時至今日，隔行視頻源已經(jīng)越來越稀少，自HEVC以后的視頻編碼器沒有再支持隔行視頻，去隔行算法的重要性也不復(fù)過往。
Combing Artifact
? 圖像重采樣
在視頻編碼器中，圖像重采樣是預(yù)處理的常見步驟。比如，如果你輸入的視頻是1920x1080p@60fps，然后你想輸出640x480p@60fps的視頻，那么在將視頻發(fā)送給編碼器前，你就需要調(diào)整幀的尺寸。
圖像重采樣在OTT視頻壓縮流程中非常常見，因?yàn)榇a率表中對應(yīng)有幾種不同的分辨率。
將輸入視頻幀轉(zhuǎn)換為不同分辨率
那么如何調(diào)整圖像尺寸？最簡單的方法就是在調(diào)整過程中舍棄不需要的像素或者添加新的像素，但這樣做會形成令人討厭的視覺失真。
現(xiàn)代編碼器和視頻預(yù)處理器在圖像尺寸調(diào)整過程中會使用精心研究過的濾波器，比如bicubic、bilateral、trilateral、gaussian或者lancsoz等。
? 幀率轉(zhuǎn)換
假設(shè)你輸入的視頻分辨率為1920x2080p@60fps, 你想要一個30fps的輸出，這時你將用到轉(zhuǎn)換幀率的算法。
幀率轉(zhuǎn)換是雙向的：如果是從高幀率轉(zhuǎn)換為低幀率，你需要舍棄每個第n幀，如果是從低幀率轉(zhuǎn)換為高幀率，你就需要添加幀。
當(dāng)你通過填充幀或者重復(fù)幀來提升幀率時，一定要小心避免造成視頻失真。只有這樣，你才能讓視頻看起來正常，而不是像個卡通片。實(shí)際上，幀率轉(zhuǎn)換是一個豐富且精彩的研究領(lǐng)域。
? ?去噪聲
編碼器通常擁有自己專有的降噪算法，這些降噪算法會在壓縮視頻之前對視頻進(jìn)行處理。通常情況下，使用了高斯（gaussian）降噪濾波器會使圖像變得平滑，有時會有利于提升壓縮效率。
場景變化檢測
對于高效的視頻壓縮而言，壓縮視頻時知道視頻中場景何時變化十分重要。
如果你了解預(yù)測，你就會意識到在兩個完全不同的圖像之間預(yù)測或者尋找相似性是無用的，這就好比在一黑一白圖像中找相同之處，你將一無所獲。
因此，就需要檢測視頻中場景變化的位置——這樣你就無需再嘗試做運(yùn)動估計(jì)。
注意：如果你還沒有理解這個概念，先不要著急。當(dāng)你在閱讀完一系列關(guān)于預(yù)測和運(yùn)動估計(jì)的文章后，自然就明白了。
? 總? ?結(jié)
顯然在視頻預(yù)處理過程中還有很多算法和功能，但我今天就講到這里。我之所以介紹視頻預(yù)處理，是想告訴你預(yù)處理的重要性以及其中的創(chuàng)新空間有多大。
任何讀到本篇文章的人都可以自己寫一個高級的場景變化檢測算法、降噪濾波器、或者幀率轉(zhuǎn)換器，將其貢獻(xiàn)給開源編解碼器社區(qū)，說不定會讓整個行業(yè)為你大吃一驚哦。
致謝
本文已獲得作者Krishna Rao Vijayanagar授權(quán)翻譯和發(fā)布，特此感謝。
原文鏈接：
https://ottverse.com/video-preprocessing-in-encoders/
延伸閱讀：
視頻編碼完全指南
Easy Tech：什么是I幀、P幀和B幀？
為什么視頻壓縮如此重要
講師招募
LiveVideoStackCon 2022 音視頻技術(shù)大會 上海站，正在面向社會公開招募講師，無論你所處的公司大小，title高低，老鳥還是菜鳥，只要你的內(nèi)容對技術(shù)人有幫助，其他都是次要的。歡迎通過?speaker@livevideostack.com?提交個人資料及議題描述，我們將會在24小時內(nèi)給予反饋。
喜歡我們的內(nèi)容就點(diǎn)個“在看”吧！
總結(jié)
- 上一篇： 拥抱智能，AI视频编码技术的新探索
- 下一篇： 大话ion系列（四）