在LiveVideoStackCon2019深圳音視頻技術(shù)大會前夕，我們邀請到了華為云核心網(wǎng)產(chǎn)品線，高級架構(gòu)師左俊老師接受采訪，采訪中左俊老師從自身十五年的架構(gòu)師經(jīng)驗(yàn)出發(fā)淺談了自己對于近幾年音視頻通話技術(shù)的發(fā)展，并從覆蓋場景、數(shù)據(jù)安全和視頻質(zhì)量審核等方面介紹了華為云通信云服務(wù)的優(yōu)勢。

文 / 左俊

整理 / LiveVideoStack

LiveVideoStack：左俊你好，能否先向LiveVideoStack的讀者介紹下自己，以及你目前主要的工作以及關(guān)注的技術(shù)方向？

?

左俊：我目前主要的負(fù)責(zé)是華為云.通信云服務(wù)整個解決方案的架構(gòu)和技術(shù)。華為云.通信云服務(wù)目前包括如下四個服務(wù)：視頻通話服務(wù)、隱私保護(hù)通話服務(wù)、語音通話服務(wù)、短信服務(wù)。當(dāng)下，我主要關(guān)注的有以下兩點(diǎn)：

?

音視頻方案中的效果及質(zhì)量問題，這個是整個音視頻解決方案最為基礎(chǔ)的部分，華為在運(yùn)營商市場實(shí)時音視頻的成功實(shí)踐，為解決互聯(lián)網(wǎng)視頻通話的效果和質(zhì)量問題，提供有效的借鑒和支撐，這也是華為云.視頻通話服務(wù)快速孵化的基礎(chǔ)。

解決方案中的安全韌性及合法合規(guī)問題，雖然這不是基礎(chǔ)業(yè)務(wù)的一部分，但是這個是客戶能夠獲取持久保障的前提，華為很看重這一塊，也能夠保證向客戶持續(xù)地提供可靠可信的服務(wù)。

?

此外還有系統(tǒng)的開放性靈活性，成本管理，客戶的個性化服務(wù)等，也都是整個解決方案中不可或缺的一環(huán)。

?

LiveVideoStack：作為在運(yùn)營商話音解決方案系統(tǒng)方面有超過15年經(jīng)驗(yàn)的高級架構(gòu)師，你如何看待近幾年音視頻通話技術(shù)的發(fā)展？

?

左俊：近些年通過開源技術(shù)以及整個通信技術(shù)棧遷移到IP上，音視頻通話的整個技術(shù)棧發(fā)展的速度很快，基于開源軟件的創(chuàng)新解決方案層出不窮，這是整個行業(yè)技術(shù)水平提升的一個重要表現(xiàn)。但是開源軟件面向的目標(biāo)是提供普遍服務(wù)，對于極致的音視頻效果和質(zhì)量仍然需要各家使用自己的十八般武藝去不斷的追求，這個需要長期的技術(shù)積累與投入。舉一個編解碼方面的例子，得益于在音視頻編解碼標(biāo)準(zhǔn)、算法、創(chuàng)新場景的長期投入，華為HW265編碼器包攬了世界視頻編碼器大賽全部三條賽道第一，并毫無懸念地獲得總成績第一名。繼2018年奪冠后，成功衛(wèi)冕，蟬聯(lián)2019年大賽冠軍，這些基礎(chǔ)技術(shù)是華為視頻通信效果及質(zhì)量的基礎(chǔ)。

?

此外，AI加持后的音視頻也變得越來越有趣，這個也是近些年來一個重要的變化。AI不僅僅上能做人臉檢測，下能做表情疊加，還能在音視頻技術(shù)的其他環(huán)節(jié)都產(chǎn)生一些顯著的效果。一個小小的實(shí)時音視頻通信僅媒體面就涉及前前后后二十多個環(huán)節(jié)，可喜的是如今已經(jīng)看到不少的環(huán)節(jié)已經(jīng)在用新技術(shù)去優(yōu)化體驗(yàn)效果了，如華為云.視頻通話中的實(shí)時超分辨率技術(shù)，強(qiáng)化學(xué)習(xí)的抗丟包方法。相信未來這塊會有越來越多的實(shí)質(zhì)性進(jìn)展，會給我們帶來各種增強(qiáng)的效果。

LiveVideoStack：作為運(yùn)營商出身的華為，在互聯(lián)網(wǎng)實(shí)時音視頻與傳統(tǒng)話音關(guān)系是什么？關(guān)于兩者的結(jié)合華為云是如何思考的？

?

左俊：首先，互聯(lián)網(wǎng)實(shí)時音視頻的主要技術(shù)基礎(chǔ)都是來源于在運(yùn)營商業(yè)務(wù)中的積累，當(dāng)然也吸收了部分互聯(lián)網(wǎng)開源的好組件。舉個例子，運(yùn)營商業(yè)務(wù)在極致的可靠性及并發(fā)處理上有著獨(dú)特的技術(shù)要求，這也催生了華為云.通信云服務(wù)的極致可靠性與高質(zhì)量，我們在視頻通話設(shè)計(jì)的時候就在各個層級做到了跨Region級別的容災(zāi)，對于關(guān)鍵節(jié)點(diǎn)，甚至考慮了異網(wǎng)備份：實(shí)際數(shù)據(jù)表明，自上線運(yùn)行以來，華為云.視頻通話可用性超過4個9，這個是一個比較優(yōu)異的成績。

?

其次，技術(shù)的共享是雙向的，新的技術(shù)點(diǎn)也使得運(yùn)營商網(wǎng)絡(luò)煥發(fā)新的機(jī)會，比如一些海外先進(jìn)運(yùn)營商也在逐步認(rèn)可通過華為云服務(wù)為他們的客戶提供一攬子話音解決方案，不但快速的部署了業(yè)務(wù)（東南亞某客戶部署中，本身設(shè)備1個月以內(nèi)完成上線，運(yùn)營商側(cè)預(yù)計(jì)3個月內(nèi)集成），還降低了25%成本。我們也在將線上先進(jìn)的技術(shù)引入到運(yùn)營商網(wǎng)絡(luò)的同時，也在將線上的流量導(dǎo)入到線下，一方面讓運(yùn)營商通過網(wǎng)絡(luò)能力開放獲得更多的收益，另一方面也使得線上客戶連接線下客戶更加的方便與便捷。

?

第三，運(yùn)營商網(wǎng)絡(luò)音視頻在一開始就關(guān)注全球一張網(wǎng)的互聯(lián)互通，包括不同制式，不同運(yùn)營商，不同國家之間都是可以無縫互通，這是運(yùn)營商音視頻網(wǎng)絡(luò)天然的優(yōu)勢，不像互聯(lián)網(wǎng)技術(shù)的音視頻往往都是各自獨(dú)立的自成體系網(wǎng)絡(luò)，往往比較難滿足市場多樣化的互通需求。華為的音視頻解決方案在一開始就考慮了相關(guān)的互聯(lián)互通需求，能夠?qū)崿F(xiàn)手機(jī)，平板，電視，音箱，固話等所有可能的終端之間的互聯(lián)互通。

?

LiveVideoStack：華為云.視頻通話服務(wù)與其他廠商相比有哪些獨(dú)到的方案與技術(shù)？

?

左俊：華為云.視頻通話服務(wù)目前主要在自研編解碼，AI處理，可靠性與韌性，線上線下網(wǎng)絡(luò)互通性，全球覆蓋就近接入網(wǎng)絡(luò)，合規(guī)運(yùn)營，用戶隱私與保護(hù)等方面是有比較大的優(yōu)勢的。舉幾個例子：

?

編解碼與音視頻質(zhì)量，2019年莫斯科國立大學(xué)舉辦的MSU世界視頻編碼器大賽上，HW265在Fast快速編碼場景下以62%的編碼壓縮率領(lǐng)先第二名5個百分點(diǎn)的成績獲得第一名；在其他一些方面，華為云.視頻通話服務(wù)在比如ROI感知編碼，弱網(wǎng)條件下視頻自動超分辨率，E2E時延優(yōu)化，全球覆蓋就近接入網(wǎng)絡(luò)，網(wǎng)絡(luò)適應(yīng)性的強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)帶寬預(yù)估，視頻長期參考幀均有應(yīng)用，使得整體的效果不管是網(wǎng)絡(luò)正常還是網(wǎng)絡(luò)丟包網(wǎng)絡(luò)帶寬受限場景都有優(yōu)異的表現(xiàn)，視頻U-vMOS（華為視頻體驗(yàn)衡量體系評價標(biāo)準(zhǔn)）相比較不帶這些效果提升0.6分以上。

DFx，可靠性，華為云.視頻通話服務(wù)在各個層級做到了跨Region級別的容災(zāi)，對于關(guān)鍵節(jié)點(diǎn)，考慮了異網(wǎng)備份，與此同時，華為依賴ICT領(lǐng)域多年在故障模式的積累，提前對六十多種典型的故障場景在現(xiàn)網(wǎng)進(jìn)行提前的故障注入演練，確保了典型故障場景業(yè)務(wù)無中斷，上線以來的數(shù)據(jù)表明實(shí)際可用性超過4個9。

用戶隱私與保護(hù)方面，華為運(yùn)營平臺也是最為合規(guī)的用戶數(shù)據(jù)保護(hù)平臺，在數(shù)據(jù)存儲、傳輸、使用等各個方面均滿足當(dāng)?shù)貒业姆煞ㄒ?guī)，包括GDPR要求的各項(xiàng)規(guī)定。華為堅(jiān)持“上不碰應(yīng)用、下不碰數(shù)據(jù)”，對用戶自身產(chǎn)生的數(shù)據(jù)全部交給用戶進(jìn)行加密處理，這里面就包括用戶提出的錄音存儲等訴求。

?

LiveVideoStack：目前華為云.視頻通話服務(wù)都覆蓋到了哪些行業(yè)場景？為匹配多種商業(yè)場景，你們團(tuán)隊(duì)在編碼、轉(zhuǎn)碼、網(wǎng)絡(luò)等方面又有哪些儲備？

?

左俊：目前我們主要面向行業(yè)包括“在線教育”、“智能終端”、“社交娛樂”三個場景，這里拿智能終端舉例說明。在今年8月上旬華為開發(fā)者大會上發(fā)布的暢連通話背后的服務(wù)支持就是來自于華為云.視頻通話服務(wù)，這里面包含幾點(diǎn)關(guān)鍵技術(shù)：

?

解決方案層面：

全場景互聯(lián)互通：支持手機(jī)、平板、電視、音箱、手表的全場景互聯(lián)互通

音視頻技術(shù)層面：

H265 720P：首次將H.265 720P應(yīng)用于大規(guī)模實(shí)時通信系統(tǒng)，碼率降低到傳統(tǒng)系統(tǒng)的60%。（軟硬結(jié)合，華為手機(jī)專項(xiàng)優(yōu)化）

動態(tài)感知的視頻超分技術(shù)+ROI感知編碼：網(wǎng)絡(luò)不佳，畫質(zhì)下降時，自動提升畫質(zhì)體驗(yàn)，結(jié)合ROI感知編碼技術(shù)，讓最終用戶的體驗(yàn)更加清晰流暢

網(wǎng)絡(luò)路由及適應(yīng)性方面：

感知切換：支持WIFI與無線分組的無感知切換（軟硬結(jié)合，華為手機(jī)專項(xiàng)優(yōu)化雙連接+網(wǎng)絡(luò)側(cè)首包學(xué)習(xí)）

基于網(wǎng)絡(luò)適應(yīng)性強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)帶寬預(yù)估：實(shí)時準(zhǔn)確預(yù)測網(wǎng)絡(luò)帶寬，作為編碼器的輸入，形成聯(lián)動，保證視頻效果

承載網(wǎng)絡(luò)優(yōu)化：基于華為在IP網(wǎng)絡(luò)以及華為云在網(wǎng)絡(luò)接入方面的積累和儲備，華為視頻云服務(wù)實(shí)現(xiàn)了在全國任何接入網(wǎng)絡(luò)條件下的IP路徑最優(yōu)，提升了用戶體驗(yàn)

?

LiveVideoStack：計(jì)算服務(wù)具有高效、便捷、節(jié)約成本等諸多優(yōu)勢，隨著云服務(wù)市場的快速發(fā)展，越來越多的運(yùn)營商和行業(yè)客戶開始采用實(shí)時通信云服務(wù)產(chǎn)品，那么在數(shù)據(jù)存儲方面華為云.視頻通話服務(wù)是如何保障數(shù)據(jù)安全、保護(hù)用戶隱私的？

?

左俊：的確，你說的這點(diǎn)正是許許多多客戶有所顧慮的。華為云.視頻通話服務(wù)在設(shè)計(jì)之初就已經(jīng)考慮了數(shù)據(jù)存儲、傳輸、使用的過程中滿足當(dāng)?shù)馗鱾€國家的法律法規(guī)，直接考慮的是面向的是全球化運(yùn)營場景。華為云.視頻通話服務(wù)遵循華為云的“上不碰應(yīng)用、下不碰數(shù)據(jù)，不做股權(quán)投資”原則，高度重視用戶隱私保護(hù)，切實(shí)貫徹適用法律法規(guī)的要求，內(nèi)部也有一套相應(yīng)的管理辦法，保證華為公有云上的數(shù)據(jù)完全滿足GDPR的要求。對于一般的多流轉(zhuǎn)發(fā)音視頻通信，RTP媒體在路徑中是不被存儲的，各個節(jié)點(diǎn)只是基于最優(yōu)路徑的轉(zhuǎn)發(fā)，類似基于路由表的路由器；再舉用戶錄音存儲訴求來說，這類的媒體都會由客戶自行管理的密鑰進(jìn)行加密或者是存儲在客戶指定的存儲資源上，這些數(shù)據(jù)從解決方案上已經(jīng)設(shè)計(jì)為無法被第三方獲取。

?

LiveVideoStack：實(shí)時通信更強(qiáng)調(diào)低延時和接通率，華為云.視頻通話服務(wù)在這方面都做了哪些工作？

?

左俊：低時延實(shí)際是一個相對的概念，ITU-T G.114建議的值是400ms以內(nèi)的單向時延，基于這個值絕大多數(shù)用戶語音通信是可以接受的。但是在某些特殊場景，比如雙方著急說話形成的雙講場景，遠(yuǎn)程K歌，VR/AR互動等場景，這個值的要求就得嚴(yán)格許多。針對網(wǎng)絡(luò)質(zhì)量較好的的視頻通信場景，統(tǒng)計(jì)值95%的情況下從采集到屏幕呈現(xiàn)基本維持在300ms以內(nèi)，這里的軟件優(yōu)化點(diǎn)還是很多很細(xì)的，比如Cache的調(diào)整，網(wǎng)絡(luò)路徑的優(yōu)化，網(wǎng)絡(luò)側(cè)復(fù)制轉(zhuǎn)發(fā)的優(yōu)化等等。

?

另外，在弱網(wǎng)情況下，時延常常可能超越視頻質(zhì)量成為通信第一要素（寧可沒有視頻，也要保證有音頻實(shí)時）。一般情況下，視頻的處理往往是后處理模塊使用FEC進(jìn)行冗余，但是這往往會因?yàn)樵龃骲uffer而增大時延。我們敏銳的感覺到，單調(diào)的修改網(wǎng)絡(luò)適應(yīng)性模塊是不夠的，必須要在編碼器與網(wǎng)絡(luò)適應(yīng)性模塊間形成聯(lián)動，通過反饋環(huán)才能從E2E角度去降低冗余和時延。為此，華為研發(fā)的網(wǎng)絡(luò)適應(yīng)性強(qiáng)化學(xué)習(xí)模塊能夠?qū)崟r準(zhǔn)確預(yù)測網(wǎng)絡(luò)帶寬，作為編碼器的輸入，實(shí)時調(diào)整編碼器比特率輸出，避免整個系統(tǒng)陷入越是帶寬不夠->越要抗丟包->越要冗余增加帶寬的惡性循環(huán)。當(dāng)然這一招不會是銀彈，整個通信視頻中低時延處理是一個系統(tǒng)工程，我相信各個廠家在這方面都有自己的看門絕技，也歡迎大家一起交流。

?

LiveVideoStack：視頻質(zhì)量對于實(shí)時通信來說也非常重要，華為云在這方面都做了哪些工作來提升用戶的使用體驗(yàn)？

?

左俊：

選擇一個好的編解碼器，華為視頻通信選擇的是自研的HW265

有一個好的冗余及抗網(wǎng)絡(luò)抖動算法

優(yōu)化無止境，通過照鏡子的方式匿名統(tǒng)計(jì)用戶質(zhì)量數(shù)據(jù)來進(jìn)行有針對性的改進(jìn)，比如故障樹分析。

?

LiveVideoStack：云上的海量視頻如果僅靠人工審核遠(yuǎn)遠(yuǎn)無法滿足需求，針對視頻質(zhì)量審核華為云有哪些獨(dú)到的審核方案？

?

左俊：我這里先大膽的解下題，假定是針對視頻質(zhì)量的審核，而不是針對內(nèi)容是否合規(guī)的檢查。

?

實(shí)時通信中的質(zhì)量審核的確非常的重要，比如在教育場景，就有諸多的監(jiān)課員負(fù)責(zé)課堂質(zhì)量審核。在一方面提升系統(tǒng)應(yīng)對各種網(wǎng)絡(luò)質(zhì)量的同時，一個自我認(rèn)知的“照鏡子”系統(tǒng)也是關(guān)鍵手段，不僅能夠讓服務(wù)運(yùn)營發(fā)現(xiàn)共性問題，還能幫助客戶去定位最終用戶的各種使用問題。華為云.視頻通話服務(wù)的“鏡子”系統(tǒng)通過自研的U-vMOS算法自動實(shí)時計(jì)算當(dāng)前會話各路的音視頻質(zhì)量，并上報(bào)給Ops系統(tǒng)，在客戶界面就可以準(zhǔn)實(shí)時觀察到當(dāng)前正在進(jìn)行的多方通話的質(zhì)量情況。此外，我們還實(shí)施了故障樹智能分析功能，可以幫助客戶管理員自動的定位問題，緩解了很多人對音視頻基礎(chǔ)知識匱乏的問題。

?

LiveVideoStack：隨著5G時代的來臨，網(wǎng)絡(luò)傳輸延遲將變得更低，這會引發(fā)哪些更實(shí)時的音視頻交互體驗(yàn)?網(wǎng)絡(luò)帶寬變大對實(shí)時通信來說是否會出現(xiàn)新的交互模式？

?

左俊：5G有三個大的場景，增強(qiáng)型移動寬帶eMBB，大規(guī)模物聯(lián)網(wǎng)mMTC和高可靠低時延URLLC。目前可見的360 VR全景通信由于涉及360度的視頻傳遞，這里面對帶寬的需求就有很大了，當(dāng)然，這個里面有很多的技術(shù)手段可以去壓縮&動態(tài)調(diào)整視頻傳輸碼率，如基于Tiled的編碼方案，基于當(dāng)前視角的FoV視頻傳遞等。此外，對于普通的視頻通信，一般還用不上5G的超低時延，但是在一些特殊場景上，比如在線K歌，AR遠(yuǎn)程指導(dǎo)都需要很低的時延，否則就會形成滯后感。這些在5G的SA階段肯定會有相應(yīng)的應(yīng)用場景。

?

目前，全球范圍來看，5G的絕大多數(shù)興建都是以NSA為主的方案（中國三大運(yùn)營商預(yù)計(jì)會在2020年啟動部署SA方案），也就是說僅僅在無線側(cè)實(shí)現(xiàn)了5G基站的接入，這一段的實(shí)現(xiàn)還無法完全釋放5G定義的三大場景的對應(yīng)能力，目前較成熟的也就是eMBB增強(qiáng)型移動大寬帶場景。單純的大帶寬對通信視頻的影響還是有限的，未來的創(chuàng)新場景還需要更多的在接入端側(cè)有顛覆性的變化，此外，對于端側(cè)的算力及功耗問題，還需要網(wǎng)絡(luò)側(cè)有一定邊緣計(jì)算解決方案配合。

?

舉個例子來說，AR遠(yuǎn)程協(xié)助場景，首先是基于通信的，再者由于指導(dǎo)端到被指導(dǎo)端的視頻環(huán)回以及指導(dǎo)端可能的自由視角需求，需要將媒體路徑盡可能放低（傳輸網(wǎng)絡(luò)時延、QoS暫時無法保證），這就衍生出邊緣計(jì)算的場景（邊緣就近接入及媒體處理），目前這塊還在研究的過程中，有成果了再給大家匯報(bào)。

硬派多媒體技術(shù)方案沙龍·2019深圳

從WebRTC、低延遲直播到邊緣計(jì)算，從編解碼Codec到AI加速，從全景視頻到沉浸式音頻，從5G到超高清，從金融、教育、制造等行業(yè)應(yīng)用場景優(yōu)化到QoE用戶體驗(yàn)......硬派多媒體技術(shù)方案沙龍（The Future Impact of Multimedia Technology & Solutions Forum）旨在甄選技術(shù)領(lǐng)先、成熟的方案與案例，推動技術(shù)傳播，連接多媒體技術(shù)生態(tài)上下游。

點(diǎn)擊【閱讀原文】或掃描圖中二維碼進(jìn)入報(bào)名頁面

總結(jié)

以上是生活随笔為你收集整理的对话实录|华为云.通信云激活无限商业潜力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。