每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿：contribute@livevideostack.com。

架構(gòu)

騰訊云低延時直播系統(tǒng)架構(gòu)設(shè)計與弱網(wǎng)優(yōu)化實踐

“直播帶貨”可能是2020年最具代表性的詞匯之一，那么傳統(tǒng)電商該如何融合直播系統(tǒng)，直播過程如何保障用戶的最佳觀看體驗？本文由騰訊云資深架構(gòu)師何書照在LiveVideoStack線上分享中的內(nèi)容整理而成，詳解了大規(guī)模、低延時電商直播系統(tǒng)架構(gòu)設(shè)計以及電商直播的難點、技術(shù)挑戰(zhàn)與突破。

https://mp.weixin.qq.com/s/oBPR1sv3QHtEMjqWAITWWA

面向新手的 WebRTC：術(shù)語及其工作原理概述

WebRTC是Web實時通信的縮寫。這是一種低延遲技術(shù)，使用JavaScript api訪問計算機的攝像頭和麥克風(fēng)，從而使媒體能夠在兩個對等點之間直接來回發(fā)送。使用WebRTC，你可以通過瀏覽器(如Chrome或Firefox)直播流，而無需使用插件或應(yīng)用(如Zoom)。由于WebRTC傳輸數(shù)據(jù)只需幾毫秒，因此它非常適合視頻聊天等交互式用例。

https://www.wowza.com/blog/webrtc-terminology-and-how-it-works

建立自己的Slack

聊天和視頻會議應(yīng)用程序淹沒了世界。Slack，Microsoft Teams，Zoom，Google Meet，Facebook Rooms等應(yīng)用程序（不斷增加）越來越受歡迎。

https://medium.com/@gjovanov/building-your-own-slack-54874bf5fd7a

傳輸網(wǎng)絡(luò)

基于QUIC的下一代HTTP協(xié)議

HTTP/3是當(dāng)前正在開發(fā)的下一HTTP協(xié)議版本，現(xiàn)在正由IETF QUIC工作組進行開發(fā)。HTTP/3的開發(fā)旨在改進HTTP/2仍存在的一些缺點，其改動主要是在傳輸層上進行優(yōu)化。與之前的HTTP協(xié)議不同，HTTP/3不再使用TCP作為主要協(xié)議，轉(zhuǎn)而使用了由Google提出的QUIC。

https://mp.weixin.qq.com/s/xbHeOEGEjveC7fCxUcJvSA

HESP協(xié)議

現(xiàn)在的網(wǎng)絡(luò)視頻在爆炸性增長，用戶對于視頻的要求也水漲船高，但目前的OTT視頻分發(fā)卻要在低延遲，大規(guī)模和觀眾體驗等幾個方面進行折衷，無法兼顧，只能給出次優(yōu)的視頻傳輸方案。我們下一代的傳輸協(xié)議可以不再做折衷。

https://mp.weixin.qq.com/s/RgJ8y8up9XK1wntQGvtOVA

互動直播中的前端技術(shù) -- 即時通訊

在這全民互動直播的時期，網(wǎng)易云音樂前端團隊和我們一起來聊聊互動直播中的即時通訊技術(shù)在前端中的使用。

https://juejin.im/post/5edd963ff265da76ee1f5b18

與 Insertable Streams 和 E2EE（ SFrame ）

Janus + Insertable Streams + SFrame = Lorenzo 大神隔離太久的結(jié)果

https://www.meetecho.com/blog/janus-e2ee-sframe/

亞馬遜發(fā)布 Chime 白板 SDK，帶數(shù)據(jù)消息的實時信令白板

Amazon Chime提供了托管中繼服務(wù)器和信號通道，使在各種網(wǎng)絡(luò)環(huán)境中啟動視頻會議變得容易。新特性利用該信令的托管通信路徑來允許交換任意數(shù)據(jù)消息。因此，開發(fā)人員可以很容易地將共享白板之類的東西添加到他們的視頻會議系統(tǒng)中，而無需提供消息傳遞服務(wù)器。

https://medium.com/@dannadori/amazon-chime-sdk-whiteboard-with-data-messages-for-real-time-signaling-c0740575a6c0

PCC Vivace: Online-Learning Congestion Control

PCC Vivace結(jié)合了一篇2015年NSDI的PCC[1]的基本框架，以及機器學(xué)習(xí)中online convex optimization的原理[2]，通過調(diào)整發(fā)送端速率的調(diào)整方向、調(diào)整步長和調(diào)整閾值，來解決網(wǎng)絡(luò)的擁塞控制問題。?

https://www.jianshu.com/p/82b8f780c548

編解碼

百度BD265編碼器初體驗：更快更省更AI

本次訪談介紹百度在視頻解碼器技術(shù)上的一些進展，重點介紹百度如何結(jié)合AI技術(shù)打造BD265編碼器，以及百度BD265編碼器在業(yè)務(wù)落地上的一些實戰(zhàn)經(jīng)驗。

https://mp.weixin.qq.com/s/xapzbnjJqz_EZFJY_WHCOA

AV1的實時模式

不久前，Google Duo宣布將全面轉(zhuǎn)向AV1。相比于VP9，AV1能夠帶來更好的編碼效率，為用戶提供更好的視頻體驗。本文來自Google軟件工程師 姜健在LiveVideoStack線上分享的內(nèi)容。

https://mp.weixin.qq.com/s/JVkADQaFmTOD7_g90XFoMg

HLS+FMP4方案對H.265+AAC支持要點

2017年的蘋果WWDC大會上，蘋果宣布HEVC支持HLS，涉及了iOS、MacOS和tvOS等系統(tǒng)終端。蘋果之所以樂意這個事情，首先HLS就是他們家的，近些年一直把HLS致力于推成Web標(biāo)準(zhǔn)，其次蘋果手握大量H.265的專利，也不想谷歌的AOM對應(yīng)的VP9標(biāo)準(zhǔn)一家獨大,HLS雖然延時有些大，但不可否認(rèn)的，目前HLS是跨平臺做的最好的協(xié)議。

https://mp.weixin.qq.com/s/3uWUJNSZ9IHdKDCd_pv6SA

如何通過Jupyter Notebook在瀏覽器上做視頻編碼

Jupyter Notebook是一個功能強大的Web應(yīng)用程序，可在一個地方提供可共享的工作空間，其中包含實時代碼（Python，Shell，JavaScript，HTML…），數(shù)據(jù)可視化和文檔。它已被數(shù)據(jù)科學(xué)和機器學(xué)習(xí)社區(qū)廣泛采用。人們將其用于原型設(shè)計，協(xié)作，項目演示，數(shù)據(jù)分析和處理等等。

https://medium.com/@jina.liu/encode-videos-from-your-browser-with-jupyter-notebook-d27e516e02ae

開源編解碼器 SOLO 源碼解讀：帶寬擴展與窄帶編碼

聲網(wǎng) Agora 在 2019 年 10 月 24 日，正式對所有開發(fā)者開源自研的抗丟包音頻編解碼器 SOLO。該編解碼器適用于需要實時音頻交互的場景，特別針對弱網(wǎng)對抗進行了優(yōu)化，并且在相同弱網(wǎng)環(huán)境下 MOS 分優(yōu)于 Opus。SOLO 可應(yīng)用于各類 RTC 應(yīng)用，并且可不與 Agora SDK 綁定使用。本文將從源碼角度解讀 SOLO 的帶寬擴展與窄帶編碼。

https://mp.weixin.qq.com/s/HAZ91HD-2Y99xgJG1Da_5Q

MPEG-5 EVC重新啟動的視頻編解碼器戰(zhàn)爭

隨著AV1編解碼器在軟件和在線服務(wù)中悄然普及，新的視頻編解碼器并沒有帶來麻煩。今年5月，三星、華為和高通宣布支持MPEG-5核心視頻編碼(EVC)，這是HEVC/H.265的另一種選擇。

https://www.macg.co/logiciels/2020/06/la-guerre-des-codecs-video-relancee-par-le-mpeg-5-evc-114437

視頻技術(shù)

云媒體處理中的創(chuàng)新：VOD工作流程的新解決方案

本文是streaming media的演講，演講者是Jeff Malkin和Eric Schumacher-Rasmussen，前者是Encoding.com的總裁，后者是Streaming media的副總裁兼編輯。演講主題是云媒體處理中的創(chuàng)新：VOD工作流程的新解決方案。

https://mp.weixin.qq.com/s/_XshYdfmPTuZK8YCFrT1rw

AI智能

CVPR 2020丨動態(tài)卷積：自適應(yīng)調(diào)整卷積參數(shù)，顯著提升模型表達(dá)能力

輕量級卷積神經(jīng)網(wǎng)絡(luò)能夠在較低的計算預(yù)算下運行，卻也犧牲了模型性能和表達(dá)能力。對此，微軟 AI 認(rèn)知服務(wù)團隊提出了動態(tài)卷積，與傳統(tǒng)的靜態(tài)卷積（每層單個卷積核）相比，根據(jù)注意力動態(tài)疊加多個卷積核不僅顯著提升了表達(dá)能力，額外的計算成本也很小，因而對高效的 CNN 更加友好，同時可以容易地整合入現(xiàn)有 CNN 架構(gòu)中。

https://mp.weixin.qq.com/s/eRZ3jNuceMYKE3lEj-g1aw

高糊圖片可以做什么？Goodfellow等人用它生成一組合理圖像

給出一張低分辨率圖像，你可以用它做什么，用機器學(xué)習(xí)方法將它盡量恢復(fù)原貌？除此之外呢？近日，谷歌 David Berthelot、Peyman Milanfar，以及 Goodfellow 提出了一種名為 LAG 的生成器，可以基于一張低分辨率圖像生成一組合理的高分辨率圖像。

https://mp.weixin.qq.com/s/vSFocmAo6iVl7oNN91T1jQ

圖像

又想騙我換新 iPhone：蘋果集體照合成專利曝光，一鍵制造「在場證明」

即使身處地球的不同角落，只要啟動手機攝像頭，所有人就能獲得一張「合影」照片。蘋果的新技術(shù)讓物理距離從此不再「遙不可及」。

https://mp.weixin.qq.com/s/6uJ8_QpilbiiJ3otjrUiZw

資源推薦

SRS多進程

SRS定位是運營級的互聯(lián)網(wǎng)直播服務(wù)器集群，追求更好的概念完整性和最簡單實現(xiàn)的代碼。

Python小工具：利用ffmpy3庫3秒鐘將視頻轉(zhuǎn)換為音頻

ffmpy3 是 ffmpy 的一個分支，它是一個簡單的 FFmpeg 命令行包裝程序。ffmpy 實現(xiàn)了一個 Pythonic 接口，用于通過命令行執(zhí)行 FFmpeg，并使用 Python 的子進程模塊進行同步執(zhí)行。使用 Python 的 asyncio.subprocess 模塊也支持異步執(zhí)行。

活動推薦

今晚7:30，我們邀請到百度智能云RTC產(chǎn)品技術(shù)負(fù)責(zé)人李永興分享WebRTC服務(wù)端工程實踐，詳細(xì)介紹如何使用開源SFU構(gòu)建RTC云服務(wù)以及遇到的難點與突破。

1. 分析現(xiàn)有開源SFU在分布式部署方面的不足；

2. 單端口方案的必要性及實現(xiàn)；

3. 信令分離的必要性及實現(xiàn)；

4. SFU級聯(lián)relay私有協(xié)議的必要性及實現(xiàn)；

5. RTC云服務(wù)的其他模塊，包括混流器，接入網(wǎng)關(guān)等

點擊“閱讀原文”可查看更多詳細(xì)信息，請大家科學(xué)上網(wǎng)。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 148的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。