目前短視頻 、互動直播等音視頻應(yīng)用火爆，抖音，快手等已經(jīng)成為當(dāng)紅流量入口，音視頻技術(shù)有了長足的發(fā)展。隨著社交的流行、玩法的增加，IM功能也成為眾多App中必備功能之一。2019年伴隨著5G、AI熱度持續(xù)升高即時(shí)通訊和音視頻技術(shù)將會有哪些發(fā)展？

好奇心，構(gòu)建音視頻算法核心；經(jīng)驗(yàn)漏斗，筑造 IM 底層架構(gòu)。10月26日，網(wǎng)易 MCtalk技術(shù)沙龍——“5G萬物智聯(lián)下的互聯(lián)網(wǎng)通信技術(shù)”，邀請到網(wǎng)易云信、Bilibili、微幀科技、東方新聞研發(fā)負(fù)責(zé)人，一同分享關(guān)于 IM 與音視頻技術(shù)的經(jīng)驗(yàn)值與好奇心，共同探討 5G 萬物智聯(lián)下的互聯(lián)網(wǎng)通信云技術(shù)。

網(wǎng)易云信

基于IM即時(shí)通信的Flutter開發(fā)實(shí)踐

Flutter從誕生到現(xiàn)在，已經(jīng)成為了跨端開發(fā)的領(lǐng)跑者。其開發(fā)應(yīng)用的流暢體驗(yàn)、開發(fā)效率之高，并且支持多種開發(fā)工具的插件化使用等優(yōu)點(diǎn)受到了大量開發(fā)者的關(guān)注，國內(nèi)外越來越多的公司走上了Flutter探索之路。但目前Flutter的生態(tài)還不算很好，很多必備的功能并不完善，例如原生播放器功能較少，沒有即時(shí)通訊功能框架等等。所以，網(wǎng)易云信為開發(fā)者提供了基于Flutter平臺的IM與音視頻解決方案。

在社交如此流行的今天，IM成為很多APP中必備功能之一，正因如此網(wǎng)易云信資深開發(fā)工程師孫有軍在技術(shù)沙龍上針對在Flutter封裝相關(guān)的知識做了全面分享，詳述了在基于云信Android SDK以及iOS SDK進(jìn)行Flutter SDK封裝過程， 闡述了封裝過程中的各種注意事項(xiàng)，提出了各種結(jié)合項(xiàng)目的最佳實(shí)踐，同時(shí)還分享了在封裝過程中需要注意的點(diǎn)，并且對封裝后的SDK進(jìn)行了產(chǎn)品開發(fā)驗(yàn)證， 構(gòu)建了一個(gè)新的跨平臺視頻應(yīng)用， 同時(shí)分享了在做產(chǎn)品過程遇到的“坑”和解決辦法，尤其是針對當(dāng)前平臺對iOS支持不如Android情況下，iOS遇到的特有問題進(jìn)行了分享。

Bilibili

視頻質(zhì)量主觀對比分析實(shí)踐

國慶前夕，4K新版《開國大典》在各大視頻網(wǎng)站大火，老電影翻新技術(shù)讓歷史經(jīng)典清晰重現(xiàn)。隨著視頻技術(shù)的發(fā)展，視頻編碼工作也越來越精細(xì)化，老電影翻新，超分辨率等技術(shù)的流行，無不對轉(zhuǎn)碼質(zhì)量有著更高的要求。那要如何做好轉(zhuǎn)碼工作？視頻質(zhì)量如何評估？作為中國覆蓋范圍最廣、知名度最高的視頻彈幕動漫平臺，Bilibili進(jìn)行了哪些實(shí)踐，又得到了什么經(jīng)驗(yàn)？

Bilibili資深技術(shù)工程師青石在沙龍現(xiàn)場和我們分享了視頻質(zhì)量主觀對比分析實(shí)踐，并詳細(xì)介紹了B站如何優(yōu)化視頻轉(zhuǎn)碼工作。青石介紹道，視頻轉(zhuǎn)碼的優(yōu)化首先需要有一個(gè)明確的質(zhì)量評價(jià)體系目前業(yè)內(nèi)通用的有PSN、SSIM、VMAF等。但是有時(shí)這些全參考系的評價(jià)標(biāo)準(zhǔn)并不特別合適。轉(zhuǎn)碼效果最終是要面向用戶的，我們以播放器的形式在同一個(gè)窗口同時(shí)播放轉(zhuǎn)碼前后的兩個(gè)視頻，播放時(shí)可以任意分配兩個(gè)視頻的顯示比例，利用人眼的視覺暫留特性，可以非常方便的對比分析兩個(gè)視頻的質(zhì)量差異。

網(wǎng)易云信

超高清 4K 視頻低延時(shí)直播與 RTC 融合架構(gòu)設(shè)計(jì)

4G 帶來了音視頻 APP 的爆發(fā)，各路音視頻業(yè)務(wù)為主的公司百花齊放，音視頻技術(shù)無論在廣度還是深度上都蓬勃發(fā)展，迎來了質(zhì)的飛躍。而5G 高帶寬，低延遲的特性，更是為音視頻技術(shù)帶來無限可能。

網(wǎng)易云信多媒體資深技術(shù)架構(gòu)師吳桐在技術(shù)沙龍上分享了超高清4K視頻低延時(shí)直播與RTC融合架構(gòu)設(shè)計(jì)實(shí)踐，從5G與未來網(wǎng)絡(luò)格局、超高清編碼到直播與RTC融合架構(gòu)的設(shè)計(jì)的相關(guān)知識進(jìn)行了全面分享。

關(guān)于低延時(shí)的直播與RTC融合架構(gòu)吳桐談到主要分成兩部分，一個(gè)是低延時(shí)，從傳輸維度來說低延時(shí)有幾點(diǎn)決定因素，包括傳輸協(xié)議的選擇，擁塞控制算法的選擇，服務(wù)器分發(fā)網(wǎng)絡(luò)怎么做，包括第一公里的解決方案等。另外還有發(fā)送端的采集編碼、前處理延時(shí)，接收端Jitterbuffer處理延時(shí)，解碼播放延時(shí)等。

第二是直播與RTC融合架構(gòu)，網(wǎng)易云信對外服務(wù)NRTC是一個(gè)工業(yè)級功能完整的音視頻融合服務(wù)框架。NRTC支持采用網(wǎng)易云信自研的UDP低延時(shí)協(xié)議實(shí)現(xiàn)實(shí)時(shí)音視頻與低延時(shí)直播，也支持使用基于標(biāo)準(zhǔn)RTMP協(xié)議的直播推拉流，同時(shí)將上述兩者結(jié)合對外提供旁路直播方案。NRTC還對外提供直播與點(diǎn)播的融合CDN分發(fā)能力，通過融合CDN提高了分發(fā)網(wǎng)絡(luò)的容量的同時(shí)保證了更高的系統(tǒng)魯棒性。在支持客戶端類別的方面，NRTC及支持傳統(tǒng)的iOS、Android與Windows PC端的接入，還通過各類網(wǎng)關(guān)支持了標(biāo)準(zhǔn)WebRTC、微信小程序音視頻的接入。綜上，NRTC對外提供的能力十分全面，相關(guān)的功能也非常成熟穩(wěn)定，NRTC在線上支撐了網(wǎng)易內(nèi)外部各客戶的海量應(yīng)用。

在分享的最后吳桐還對AI、VR、IoT與5G邊緣計(jì)算等前沿技術(shù)在音視頻領(lǐng)域的應(yīng)用做了相關(guān)的總結(jié)與展望。

微幀科技

實(shí)時(shí)視頻通信中的AV1優(yōu)化

視頻的實(shí)時(shí)通信對編碼器的編碼性能、編碼速度以及時(shí)延均有嚴(yán)格要求。AV1為新一代視頻編碼標(biāo)準(zhǔn)，由開放媒體聯(lián)盟多家會員聯(lián)合打造，于2018年6月封稿。相比已有編碼標(biāo)準(zhǔn)，AV1增添了70+個(gè)編碼工具，顯著提升了編碼效率。由于編碼標(biāo)準(zhǔn)本身的復(fù)雜度，AV1編碼器的設(shè)計(jì)，尤其在實(shí)時(shí)視頻通信中的應(yīng)用實(shí)踐，面臨挑戰(zhàn)。與此同時(shí)，深度學(xué)習(xí)在視頻編碼，尤其針對AV1編碼優(yōu)化，相比深度學(xué)習(xí)在圖像編碼中的探索，任重道遠(yuǎn)但具備持續(xù)優(yōu)化的潛力。

MCtalk技術(shù)沙龍中，微幀科技Zoe詳細(xì)介紹了機(jī)器學(xué)習(xí)在視頻編碼中的實(shí)踐與運(yùn)用，做一些初淺的探索。與此同時(shí)，微幀科技在AV1編碼器優(yōu)化中的初始結(jié)果，給出比對小結(jié)，性能指標(biāo)包括編碼效率（BD-Rate），編碼速度，以及碼控等，主要相比目前的主流編碼器x264，x265，以及目前AV1主流開源編碼器libaom/SVT-AV1，給出針對視頻實(shí)時(shí)場景的比較結(jié)果，并跟與會者分享了AV1編碼器優(yōu)化的基本思路與框架。

東方新聞

直播平臺建立監(jiān)控體系實(shí)踐

隨著5G技術(shù)的來臨，在線直播行業(yè)發(fā)展持續(xù)加速，據(jù)艾媒咨詢數(shù)據(jù)顯示，2017年在線直播用戶規(guī)模達(dá)到3.98億人，2018年在線直播用戶規(guī)模達(dá)到4.56億人，并預(yù)計(jì)2019年將突破5億人。在線直播行業(yè)發(fā)展繼續(xù)加速，直播行業(yè)將持續(xù)迎來洗牌熱潮。業(yè)務(wù)的發(fā)展帶來需求的升級，并為直播技術(shù)帶來新的課題。5G+AI在直播行業(yè)如何應(yīng)用？如何設(shè)計(jì)和實(shí)現(xiàn)更完善的直播監(jiān)控體系？如何實(shí)現(xiàn)通過數(shù)據(jù)去驅(qū)動業(yè)務(wù)發(fā)展？

在MCtalk技術(shù)沙龍上，東方新聞技術(shù)總監(jiān)曾小偉，從直播平臺發(fā)展趨勢說起，詳細(xì)介紹了直播平臺的架構(gòu)分析以及直播平臺監(jiān)控體系的設(shè)計(jì)，并分享了如何通過監(jiān)控平臺的數(shù)據(jù)分析來協(xié)助業(yè)務(wù)發(fā)展。他提到，監(jiān)控平臺的數(shù)據(jù)分析是幫助業(yè)務(wù)方把業(yè)務(wù)漏斗做的更好。要明確業(yè)務(wù)方的核心需求，監(jiān)控?cái)?shù)據(jù)以合理的展現(xiàn)形式，提供給業(yè)務(wù)方所需的數(shù)據(jù)樣本，來幫助市場更好的投放，主播提高留存，產(chǎn)品優(yōu)化缺陷活動提高流水。

5G不僅僅推動技術(shù)變革，更是為音視頻行業(yè)帶來新的機(jī)遇，更多場景的應(yīng)用亟待發(fā)掘。網(wǎng)易云信憑借19年IM及音視頻技術(shù)累積，一直走在行業(yè)及技術(shù)的前沿，不斷摸索、創(chuàng)新，致力于幫助客戶提升效率，降低成本，不錯(cuò)過5G帶來的任何一個(gè)新風(fēng)口。

點(diǎn)擊【閱讀原文】，立即獲取完整版分享資料。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的技术玩法大升级，网易MCtalk揭秘5G即时通讯技术背后的秘密的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。