幀享是什么？
幀享是一個(gè)超高清的解決方案，從 2B 到 2C 的視角，幀享具備 4 個(gè)技術(shù)能力：

一是高幀率增強(qiáng)，可提供最高 120 幀的超高幀率視頻，順滑地呈現(xiàn)物體運(yùn)動(dòng)場(chǎng)景；
二是超高分辨率，對(duì)于畫面中微小的細(xì)節(jié)與結(jié)構(gòu)，在幀享的視頻中也能刻畫得非常清楚；
三是 HDR 高動(dòng)態(tài)渲染，畫面對(duì)比更豐富，顏色鮮活有質(zhì)感；
四是幀享環(huán)繞音效，我們利用聲道間的相位差異，充分體現(xiàn)聲音的立體感和空間感。
前三個(gè)方向的特性分別體現(xiàn)了幀享對(duì)于時(shí)間、空間、亮度、色度的超高分辨與呈現(xiàn)能力，第四點(diǎn)是聲音特性和聲場(chǎng)效果，這四點(diǎn)組合起來，既是幀享能給用戶提供的關(guān)鍵特性，也涵蓋了觀眾對(duì)于超高清的訴求。

要真正將幀享落地，需要深入到視頻制播產(chǎn)業(yè)的各個(gè)環(huán)節(jié)中，從左到右有 5 個(gè)關(guān)鍵詞：拍攝、制作、生產(chǎn)、傳輸和呈現(xiàn)，這五個(gè)環(huán)節(jié)環(huán)環(huán)相扣，每一步都與最終視頻的呈現(xiàn)質(zhì)量息息相關(guān)。我們首先要保證每一步都能夠正確地處理，盡可能采集和保留更多內(nèi)容信息；其次是挖掘鏈路上各環(huán)節(jié)的處理能力，利用我們?cè)谥谱鳌⑸a(chǎn)和呈現(xiàn)上的人力和算力，進(jìn)行信息的重建和增強(qiáng)，提升視頻體驗(yàn)。

具體來講，在拍攝和制作環(huán)節(jié)，我們會(huì)給出明確的超高清視頻的要求規(guī)范；在制作環(huán)節(jié)，開放云剪輯能力，為后期的剪輯提質(zhì)提效；在介質(zhì)環(huán)節(jié)，做嚴(yán)格品控，保證介質(zhì)內(nèi)容的基礎(chǔ)質(zhì)量。在生產(chǎn)環(huán)節(jié)，減少轉(zhuǎn)碼的損失，利用我們平臺(tái)的計(jì)算能力進(jìn)行恢復(fù)和重置增強(qiáng)，同時(shí)對(duì)視頻進(jìn)行結(jié)構(gòu)化分析，拿到視頻的各種分類、場(chǎng)景、標(biāo)簽等高低層的語義信息，將其與碼流一起傳輸?shù)浇K端設(shè)備上，并進(jìn)行適配的后處理增強(qiáng)和渲染。這種適配包括對(duì)內(nèi)容、設(shè)備和用戶偏好的適配等，確保最終的體驗(yàn)和效果。

幀享的關(guān)鍵技術(shù)：高幀率重置、高動(dòng)態(tài)渲染、云加端增強(qiáng)

1. 高幀率重制
從視頻中可以明顯看出，低幀率的豎線運(yùn)動(dòng)時(shí)一直在顫動(dòng)，而高幀率的運(yùn)動(dòng)就很平滑。 為什么低幀率會(huì)抖動(dòng)？

如上圖，x 軸表示時(shí)間，y 軸表示位移，物體的勻速運(yùn)動(dòng)在坐標(biāo)系中是一條斜線，如圖中有箭頭標(biāo)記的藍(lán)線。而實(shí)際的物體位置在這條藍(lán)線之上。由于低幀率的刷新率是有限的，物體的實(shí)際位置在一幀內(nèi)是固定的，到下一幀會(huì)跳躍到另一個(gè)位置，就像上臺(tái)階一樣。人的眼睛會(huì)天然的跟蹤運(yùn)動(dòng)的物體，也會(huì)根據(jù)當(dāng)前位置和運(yùn)動(dòng)速度，去推測(cè)物體的下一個(gè)位置，如圖中綠星星所標(biāo)記的。我們看到物體的實(shí)際位置和物體的預(yù)測(cè)位置一直不重合，且預(yù)測(cè)位置一直在實(shí)際位置的上下抖動(dòng)，非常傷害觀看體驗(yàn)。

高幀率重置，在算法上就是插幀。插幀技術(shù)已經(jīng)存在很久了，方法大概分成兩類，一類是基于特征的傳統(tǒng)方法；另一類是基于數(shù)據(jù)的網(wǎng)絡(luò)方法。兩者思路是一致的，根據(jù)像素的幀間相關(guān)性去推算光流，再做插值。

在傳統(tǒng)算法中，先根據(jù)多幀的視頻圖像去做光流，預(yù)測(cè)出前后向光流，來映射到需要插幀的相位上。這時(shí)候就需要考慮很多特征，比如到底是用前向光流還是后向光流、用雙向光流還是單向光流，哪些地方是露出遮擋區(qū)域等，根據(jù)這些去做插值重建，得到高幀率視頻，這是一種完全基于運(yùn)動(dòng)特性的傳統(tǒng)方法。

網(wǎng)絡(luò)方法非常類似，只是將光流的預(yù)測(cè)還有像素的差值都用網(wǎng)絡(luò)來實(shí)現(xiàn)，還有一些網(wǎng)絡(luò)方法可能更極端，它會(huì)把光流網(wǎng)絡(luò)和插值網(wǎng)絡(luò)合二為一，直接用一個(gè)端到端的數(shù)據(jù)訓(xùn)練，得到一個(gè)插幀網(wǎng)絡(luò)。但無論是傳統(tǒng)還是網(wǎng)絡(luò)辦法，在插幀中有一個(gè)難以解決的問題——在一些運(yùn)動(dòng)的交界處，光流很難嚴(yán)格貼合物體的實(shí)際邊緣，這樣會(huì)導(dǎo)致各種各樣的問題。

優(yōu)酷是如何優(yōu)化的？

首先是基于成熟的插值算法，將各點(diǎn)效果做到極致，在實(shí)際場(chǎng)景中有效解決問題；其次是拆解問題，嘗試把通用的插幀問題，分層分類成不同的垂類，用不同的插幀方法來解決，實(shí)現(xiàn)整體最優(yōu)。

1）場(chǎng)景分類。在時(shí)間上做分類，將時(shí)間軸上的一個(gè)視頻按照?qǐng)鼍扒虚_，分成了多個(gè)場(chǎng)景，把不同場(chǎng)景分成全局運(yùn)動(dòng)場(chǎng)景、靜止場(chǎng)景、復(fù)雜運(yùn)動(dòng)場(chǎng)景、片頭片尾等。

2）目標(biāo)的分割。在空間維度將圖像分成多個(gè)目標(biāo)區(qū)域，例如臺(tái)標(biāo)角標(biāo)的區(qū)域、字幕區(qū)域、前景背景、露出遮擋的區(qū)域。

3）垂類場(chǎng)景的插幀完成后，再經(jīng)過一些柔性的融合得到最終的插幀結(jié)果。

4）人工校對(duì)。無論用多么精巧的辦法、算法，總會(huì)有一些疑難的 case，是技術(shù)無法處理的，所以在設(shè)計(jì)算法時(shí)，會(huì)自動(dòng)對(duì)疑難 case 進(jìn)行標(biāo)記。在審核后臺(tái)，這些標(biāo)記區(qū)域進(jìn)行人工審核，對(duì)于有問題的插幀結(jié)果進(jìn)行回退處理。

上圖是對(duì)比圖，左側(cè)上方飛掉的字幕，通過對(duì)字幕區(qū)域的特殊處理以后，已經(jīng)能夠正常做插幀了。右側(cè)，將運(yùn)動(dòng)光流進(jìn)行精細(xì)化，讓光流更貼合運(yùn)動(dòng)的前景輪廓，有效去除在運(yùn)動(dòng)物體周報(bào)的光圈效應(yīng)。

2. 高動(dòng)態(tài)的渲染

高動(dòng)態(tài)渲染其實(shí)就是 HDR。上圖是對(duì)比圖，左側(cè)是 SDR 效果（畫面偏灰，看不清細(xì)節(jié)）；右側(cè)是 HDR 效果，畫面很美，點(diǎn)點(diǎn)繁星和山勢(shì)的暗部細(xì)節(jié)輪廓都非常清楚。

HDR 是一個(gè)成熟概念，行業(yè)中有各種各樣的 HDR 標(biāo)準(zhǔn)。我們?nèi)绾螀^(qū)別中間的差異，并選擇一個(gè)好的 HDR 算法？HDR 解決的是一個(gè)從高動(dòng)態(tài)到低動(dòng)態(tài)，從寬色域到色域的映射效果問題。自然景物能夠呈現(xiàn)出的亮度范圍是非常高動(dòng)態(tài)的，從 1/ 萬 nit 到 1 萬 nit 以上都有。但顯示設(shè)備能夠呈現(xiàn)的亮度范圍是低動(dòng)態(tài)的，大部分只有幾百 nit，而低亮也不夠低。要把自然景物呈現(xiàn)到顯示器上，就面臨著一個(gè)從高動(dòng)態(tài)到低動(dòng)態(tài)的映射問題。所以，HDR 的關(guān)鍵不是 8ibt 還是 10bit，也不是 4k 或者 1080，而是去理解內(nèi)容和設(shè)備，確定在什么設(shè)備什么環(huán)境下，用什么樣的映射去渲染內(nèi)容，達(dá)到主觀效果的最優(yōu)。

上圖，左側(cè)是亮度從高到低映射，右側(cè)是色彩映射，需要把馬蹄形的大的寬色域映射到內(nèi)部小三角形上面的窄色域。
**
幀享 HDR 在技術(shù)上做了哪些改進(jìn)？**

一是測(cè)屏校屏，幀享要做標(biāo)準(zhǔn)的顏色管理，需要將不同顏色做到在不同設(shè)備做到顯示效果一致，用來排除屏幕的顏色偏移，把顏色做的更加準(zhǔn)確。
二是屏幕亮度和色度適配，不同設(shè)備的亮度差異非常大，從兩三百尼特到上千尼特，我們的測(cè)試也發(fā)現(xiàn)，即使用標(biāo)準(zhǔn)的 HDR 視頻，在不同亮度的設(shè)備上面的效果也存在差異。 所以幀享 HDR 采用了多種的流策略，對(duì)于超過 500 尼特的屏幕，輸出標(biāo)準(zhǔn) HDR 流；對(duì)于低亮屏幕，基于亮度去適配調(diào)整出獨(dú)特的 SDR 流；
三是內(nèi)容適配。每一個(gè)場(chǎng)景的內(nèi)容，很少是滿動(dòng)態(tài)或?qū)拕?dòng)態(tài)，有的場(chǎng)景整體很亮，有的場(chǎng)景整體很黑，這時(shí)我們可以取巧一點(diǎn)，將內(nèi)容所在的部分亮度范圍做更好的映射，然后在其他亮度范圍，將映射做的差一些，這就是根據(jù)內(nèi)容來做動(dòng)態(tài)映射的一個(gè)出發(fā)點(diǎn)。幀享的 HDR 也是基于這一特性，用動(dòng)態(tài)元數(shù)據(jù)，根據(jù)場(chǎng)景做動(dòng)態(tài)的 tone mapping。
四是做鏈路的把控，后期、平臺(tái)以及端上渲染，都可以做這種映射，但不能各自為戰(zhàn)，需要信息互通、互相協(xié)同，用統(tǒng)一的映射將效果做到最佳。
下圖是 HDR 對(duì)比圖。

第 1 幅是顏色準(zhǔn)確性、渲染顏色準(zhǔn)確性的對(duì)比。右下角是優(yōu)酷在蘋果上的播放效果顯示，其他三張都是同一個(gè)安卓手機(jī)的不同 APP 的顯示效果。因?yàn)槠聊槐旧硎怯行┢?#xff0c;所以可以看到友商兩幅圖的效果，人臉比較紅潤(rùn)，就會(huì)紅的不太正常。 但是優(yōu)酷，人的臉色比較正常，更像蘋果的顏色顯示，所以對(duì)比就能說明在我們優(yōu)酷通過測(cè)屏校屏，能夠去糾正錯(cuò)誤的顏色渲染，然后得到更好的顏色效果。
上幅圖是幀享 HDR 的對(duì)比圖，左側(cè)是 HDR 前（畫面顏色整體偏亮，對(duì)比小、畫面偏灰偏白）；右側(cè)是 Tone mapping 后的 HDR 效果，動(dòng)態(tài) TM 后，擴(kuò)大對(duì)比度，提升了畫面質(zhì)感。

3. 云加端增強(qiáng)
以前，我們常遇到這些問題：為什么視頻流很好，到電視上卻效果不佳？每個(gè)設(shè)備的效果不一致，如何兼顧？如果知道內(nèi)容特性，算法參數(shù)可以設(shè)置得更好，但實(shí)際上我們無法知曉內(nèi)容特性，所以效果只能打折。以上都反映了一個(gè)共同問題，體驗(yàn)是整條鏈路的體驗(yàn)，必須將云和端協(xié)同起來，一起為體驗(yàn)負(fù)責(zé)。

**云和端如何做協(xié)同？
**
云上，在編碼前做前處理；端上，在解碼后做后處理。我們?cè)谠粕咸幚淼膬?yōu)勢(shì)，主要是算力豐富、算力高，并且它是非因果和離線的，可以算得很慢。劣勢(shì)是云上算的時(shí)候，不知道設(shè)備信息，所以只能夠去做統(tǒng)一的處理，不能單獨(dú)調(diào)優(yōu)。其次，云上的增強(qiáng)恢復(fù)重建，都是增加信息量，所以壓縮效率低，壓縮后的碼率高，導(dǎo)致傳輸效率降低。在端上，我們知道設(shè)備、用戶以及環(huán)境的信息，用多參數(shù)、多種算法做適配，是一個(gè)多樣性的能力。

我們將云和端聯(lián)合在一起，用云上的豐富算力做分析，用端上的多樣性做呈現(xiàn)，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)的效果。右圖的 4 種情況，1 是純?cè)贫说奶幚?#xff0c;2 是純端上的處理，3 是云端都可以處理，4 是云加端的協(xié)同處理。

**云 + 端的聯(lián)合處理到底有哪些應(yīng)用？
**
基于算力優(yōu)勢(shì)，我們會(huì)在云端做復(fù)雜的探測(cè)、分析、分類，打標(biāo)簽、編碼，再將碼流和探測(cè)出的語義信息、一些結(jié)果通過控制流去傳輸?shù)皆O(shè)備端。用來指導(dǎo)端上的后處理模塊進(jìn)行參數(shù)的設(shè)置、算法的選擇，以及適配處理。例如，通過去塊、銳化、超分等讓端上效果更出色。

案例一，去塊。

塊效應(yīng)是壓縮導(dǎo)致的，在碼率不夠或者低亮的場(chǎng)景中。統(tǒng)一的去塊，有可能會(huì)損失信號(hào)的有用細(xì)節(jié)，使圖像變得模糊。但如果我們能夠做云加端的配合，可以在源頭將流上塊的強(qiáng)度、類型都探測(cè)出來，然后把信息傳到端上，用這種信息去控制端上的去噪去塊算法的強(qiáng)度，達(dá)到既有效去塊又能夠保護(hù)細(xì)節(jié)的效果。

案例二，智能滿屏的效果對(duì)比。

優(yōu)酷有大量的年代劇，往往是 4:3 比例，現(xiàn)在屏幕尺寸是 16:9，甚至是 23:9、22:9。如果直接播放 4:3 視頻，畫幅會(huì)很小。普通平鋪是以圖像的中心為中心，這樣的構(gòu)圖布局經(jīng)常會(huì)丟一些重要畫面。優(yōu)酷智能平鋪是利用 CV 的識(shí)別分析能力，將眼睛更關(guān)注的信息保存下來，讓畫面的布局更合理。

所以整個(gè)應(yīng)用過程就是在云端利用分析理解能力，對(duì)畫面進(jìn)行自動(dòng)的分析、提取，將信息與碼流一起傳到端上，根據(jù)信息進(jìn)行渲染窗口的調(diào)整，達(dá)到實(shí)時(shí)的拆切滿屏的目的。優(yōu)勢(shì)是一個(gè)流能夠滿足各種尺寸屏幕的觀看需求。

優(yōu)酷超高清的愿景

幀享的愿景是，在 5G 和 AI 的背景下，為國(guó)內(nèi)的互聯(lián)網(wǎng)視頻超高清路線提供解法和答案，推進(jìn)視頻的超高清體驗(yàn)的升級(jí)，讓 C 端用戶早日進(jìn)入到超高清的觀影時(shí)代。另一個(gè)愿景是超高清產(chǎn)業(yè)共贏。我們需要有超高清的標(biāo)準(zhǔn)去約束視頻產(chǎn)業(yè)鏈條的各方，制作生產(chǎn)出符合超高清標(biāo)準(zhǔn)的內(nèi)容、設(shè)備，培養(yǎng)提升用戶心智，使他們?cè)敢鉃轶w驗(yàn)買單。只有用戶愿意買單，平臺(tái)才愿意為超高清買單，制作公司才會(huì)愿意為超高清買單，實(shí)現(xiàn)超高清的商業(yè)化、規(guī)模化，實(shí)現(xiàn)用戶、制作、平臺(tái)、終端整個(gè)鏈條上的共贏。

作者介紹：：阿里文娛高級(jí)算法專家 張行

總結(jié)

以上是生活随笔為你收集整理的5G 超高清关键技术：高帧率重置、高动态渲染、云加端增强的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。