每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。

新聞投稿：contribute@livevideostack.com。

架構(gòu)

從0到1打造一個 WebRTC 應(yīng)用

本文作者張宇航，微醫(yī)云服務(wù)團(tuán)隊前端工程師，一個不文藝的處女座程序員。

https://juejin.im/post/6896045087659130894

WebRTC加密和安全:你需要知道的一切

好消息是WebRTC非常安全。壞消息是——沒有哪一個系統(tǒng)是沒有缺陷，WebRTC的安全性也很復(fù)雜。在本文中，我將討論WebRTC如何處理安全問題，以及確定一些已知的薄弱環(huán)節(jié)，并討論WebRTC如何繼續(xù)提高其安全性。

https://www.wowza.com/blog/webrtc-encryption-and-security

關(guān)于短視頻平臺框架搭建與技術(shù)選型探討

近年來，互聯(lián)網(wǎng)高速發(fā)展，電視等傳統(tǒng)媒體加速向媒體融合方向邁進(jìn)，在三網(wǎng)融合等政策推動以及視頻云技術(shù)、互動技術(shù)、大數(shù)據(jù)分析等新技術(shù)加速應(yīng)用的背景下，無視頻，不網(wǎng)絡(luò)，短視頻成為最重要的信息載體之一。構(gòu)建高效的短視頻平臺，是慎之又慎的問題。短視頻平臺搭建離不開各項技術(shù)的支持，從云計算到推薦算法，從圖像檢測技術(shù)到大數(shù)據(jù)統(tǒng)計，不同的技術(shù)都給平臺創(chuàng)造了新的發(fā)展機(jī)會。從架構(gòu)的角度，本文探討短視頻平臺的構(gòu)建與技術(shù)選型問題，從以下幾點進(jìn)行介紹。

https://mp.weixin.qq.com/s/Fp24LzVNWE9Hpjy3WqZt7w

如何準(zhǔn)確提交WebRTC的BUG

我們要做的是解釋如何準(zhǔn)確地將BUG提交給Chrome。

https://webrtccourse.com/course/webrtc-codelab/module/fiddle-of-the-month/lesson/submitting-a-webrtc-bug/

傳輸網(wǎng)絡(luò)

跟堅哥學(xué)QUIC系列：地址驗證（Address Validation）

QUIC 做為新一代的互聯(lián)網(wǎng)傳輸協(xié)議，IETF QUIC 工作組在設(shè)計協(xié)議標(biāo)準(zhǔn)時除了關(guān)注優(yōu)化性能，安全性也是需要重點考慮的。這篇文章介紹了 QUIC 的地址驗證（Address Validation）。

https://zhuanlan.zhihu.com/p/290694322

2020雙十一，阿里云GRTN拉開直播和RTC技術(shù)下半場的序幕

這篇文章會通過回顧互聯(lián)網(wǎng)直播技術(shù)的發(fā)展歷程，深度剖析直播延時的技術(shù)挑戰(zhàn)，并解讀阿里云全球?qū)崟r傳輸網(wǎng)絡(luò)GRTN的設(shè)計思路、技術(shù)原理、特質(zhì)與應(yīng)用實踐，以及GRTN在擺脫傳統(tǒng)直播技術(shù)所面臨的內(nèi)卷化（Involution）窘境所作出的嘗試。

https://mp.weixin.qq.com/s/UqipMf2S2oo0jo6pgR1sWQ

5G實時直播至關(guān)重要的4個原因

根據(jù)FCC的定義，美國所有三大運營商現(xiàn)在在全國范圍內(nèi)都有5G足跡。這意味著每個人都可以訪問至少2億人。很少有其他國家能覆蓋全國范圍，韓國是一個值得注意的例外。

https://mp.weixin.qq.com/s/9pqGNvUGJrMTPQKm_1GfIw

奇葩說之RTC的那些事

RTC本質(zhì)上是一個時延、流暢、質(zhì)量、成本等幾個點的平衡，我們不能在某些單點上用力過猛，導(dǎo)致最終的效果大打折扣。拍樂云CEO 趙加雨在LiveVideoStackCon 2020北京站的演講中拋出關(guān)于RTC的六個問題，同時站在辯論的正反方與大家拆解如何能夠讓RTC產(chǎn)品給用戶帶來更好的體驗。

https://mp.weixin.qq.com/s/ToWMgZ-3G-B9VMPvOnDP-A

從HTTP到HTTP/3的發(fā)展簡史

想要弄明白 QUIC 的優(yōu)點，最好的辦法是講清楚 TCP 作為 HTTP 請求的傳輸方式有哪些不足之處。

為此，我們將從頭開始細(xì)細(xì)道來。

https://mp.weixin.qq.com/s/E5RwKvHcDdzHS77lpb9wvw

點擊了解大會詳情

QoE

使用區(qū)分優(yōu)先級的負(fù)載分流法確保Netflix的可靠性

如何在基礎(chǔ)架構(gòu)從系統(tǒng)故障中自我恢復(fù)時，仍能確保觀眾能夠在Netflix上觀看他們最喜歡的節(jié)目？Netflix 給出了他們的解決方案。

https://mp.weixin.qq.com/s/lUd9838j_INIbDKmSnNqJg

編解碼

ICIP2020：MPEG中的點云壓縮

本篇來自ICIP2020，演講者是Marius Preda，參加討論的還有Danillo Bracco Graziosi、Ohji Nakagami和Khaled Mammou，演講主題是MPEG中的點云壓縮。

https://mp.weixin.qq.com/s/hJKzs7-ODWtpkLXKbwPC2A

音視頻技術(shù)

ICIP2020：融合媒體技術(shù)的視覺模型

本篇來自ICIP2020，演講者是來自西班牙Pompeu Fabra大學(xué)的Marcelo Bertalmío，教程主題是融合媒體技術(shù)的視覺模型。

https://mp.weixin.qq.com/s/1UnMWshNx9vjPM2k8gPPzw

淘寶直播“一猜到底”

淘寶移動端實時語音識別技術(shù)方案及應(yīng)用。

https://www.livevideostack.cn/news/taobao-live/

淺談低成本視頻動作捕捉技術(shù)

近年來，隨著人工智能技術(shù)的發(fā)展和移動互聯(lián)網(wǎng)的興起，基于視頻的低成本動作捕捉技術(shù)逐漸在游戲制作、虛擬主播、AR/VR等領(lǐng)域展露頭角。低成本視頻動捕技術(shù)大大拓展了動捕技術(shù)的受眾范圍，給普通用戶帶來了全新的內(nèi)容生產(chǎn)體驗，具有廣闊的發(fā)展前景。本文主要介紹視頻動捕技術(shù)的基本原理和最新的技術(shù)進(jìn)展。

https://mp.weixin.qq.com/s/F5R7Mgc0WUZWORmL8c8EOA

AI智能

帶你讀論文 | 端到端語音識別模型

本文將通過六篇論文，從建模方法、響應(yīng)時間優(yōu)化、數(shù)據(jù)增強(qiáng)等不同方面講解端到端語音模型的發(fā)展，并探討不同端到端語音識別模型的優(yōu)缺點。

https://mp.weixin.qq.com/s/wZfBg175ylxZj-k4Xzggqw

程序員奶爸用樹莓派制作嬰兒監(jiān)護(hù)儀

哭聲自動通知，還能分析何時喂奶。

https://mp.weixin.qq.com/s/UtucI1vWYYcIZ-4VEyTTLw

Objectron數(shù)據(jù)集

僅通過在照片上訓(xùn)練模型，機(jī)器學(xué)習(xí)（ML）的最新技術(shù)就已經(jīng)在許多計算機(jī)視覺任務(wù)中實現(xiàn)了卓越的準(zhǔn)確性。在這些成功的基礎(chǔ)上，不斷發(fā)展的3D對象理解具有強(qiáng)大的潛力，可以為更廣泛的應(yīng)用程序提供支持，例如增強(qiáng)現(xiàn)實，機(jī)器人技術(shù)，自主性和圖像檢索。例如，今年早些時候，我們發(fā)布了MediaPipe Objectron（一套針對移動設(shè)備設(shè)計的實時3D對象檢測模型），它們在完全注釋的真實3D數(shù)據(jù)集上進(jìn)行了訓(xùn)練，可以預(yù)測對象的3D邊界框。

https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html

浮世繪面孔數(shù)據(jù)集

作為論文域之間可控圖像合成的分辨率相關(guān)GAN插值的一部分，我使用浮世繪的人臉圖像數(shù)據(jù)集來訓(xùn)練StyleGAN模型，本文包含該數(shù)據(jù)集的鏈接和該數(shù)據(jù)集的詳細(xì)信息。

https://www.justinpinkney.com/ukiyoe-dataset/

圖像

AVIF - 你不得不了解的圖像格式

AVIF是從AV1視頻衍生而來的一種新的圖像格式。它不僅是開源的，并且已經(jīng)可以在Chrome 85上應(yīng)用。Android和Firefox也在努力支持中，雖然Safari花費了10年的時間來支持WebP格式，但我不認(rèn)為這次我們還會等那么久，畢竟蘋果是AV1的創(chuàng)始成員之一。

https://juejin.im/post/6891212065667710989

資訊速覽

YouTube和Netflix宣布提供適用于Xbox One平臺的參考AV1解碼器

YouTube和Netflix宣布為Xbox One游戲機(jī)提供參考AV1軟件解碼器。此GPU加速的解碼器在所有Xbox One控制臺上都支持AV1解碼，最高可達(dá)2K 30fps。

https://aomedia.org/in%20the%20news/youtube-and-netflix-announce-availability-reference-av1-decoder-for-xbox/

宣布推出首款面向5G，AI，云和Edge的英特爾結(jié)構(gòu)化ASIC

英特爾推出了英特爾eASIC N5X，這是第一個用于加速5G，云，人工智能和邊緣工作負(fù)載的全新結(jié)構(gòu)化ASIC。英特爾eASIC N5X于2020年11月在英特爾FPGA技術(shù)日發(fā)布。

https://newsroom.intel.com/news/first-intel-structured-asic-5g-ai-cloud-edge/#gs.l9sfn9

活動推薦

【線上分享】短視頻出海關(guān)鍵指標(biāo)、挑戰(zhàn)及應(yīng)對

當(dāng)前短視頻出海趨勢依舊強(qiáng)勁，不少團(tuán)隊目標(biāo)明確，直擊諸如中東、東南亞、南美等新市場，面對未知且復(fù)雜的網(wǎng)絡(luò)挑戰(zhàn)，因地制宜，合理制定技術(shù)指標(biāo)衡量用戶體驗至關(guān)重要。

11月26日19：30，我們邀請到Akamai售前技術(shù)顧問王駿興，本次分享旨在探討短視頻項目出海，我們?nèi)绾胃玫睦藐P(guān)鍵指標(biāo)洞悉業(yè)務(wù)情況，以及調(diào)整和制定應(yīng)對策略。

掃描圖中二維碼或點擊【閱讀原文】預(yù)約報名

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 171的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。