每周一期，縱覽音視頻技術領域的干貨和新聞投稿：contribute@livevideostack.com。

架構

實驗性的體驗：WebRTC 可插入流

這將在使用 SFU 時實現端到端的隱私。

https://groups.google.com/a/chromium.org/forum/?utm_medium=email&utm_source=footer#!msg/blink-dev/Oy84pXDhajI/lu-Z0p3QAAAJ

傳輸網絡

Twitch的直播流

本篇是來自Video @Scale 2019的演講，演講者是來自Twitch的首席軟件工程師 Yueshi Shen，演講主題是：“Twitch的直播流”。

https://mp.weixin.qq.com/s/6WzTzZ4zvcuxajc9pIJYVg

視頻負載測試

本篇是來自Video @Scale 2019的演講，演講者是來自亞馬遜Resilience Engineering部門的Olga Hall，演講題目為“Video load testing”，演講介紹了亞馬遜的視頻服務的演進過程，以及如何進行負載測試。

https://mp.weixin.qq.com/s/4i06ho3D78Yi38iPfHpAUA

新一代直播傳輸協議SRT

SRT協議是基于UDT的傳輸協議，保留了UDT的核心思想和機制，抗丟包能力強，適用于復雜的網絡。在LiveVideoStack線上分享中，新浪音視頻架構師 施維對SRT協議的原理、優缺點特性以及在流媒體中的應用進行了詳細解析。

https://mp.weixin.qq.com/s/P4cbRxJnXlkQOtXNkdDL4w

編解碼

權力的游戲 —— 5G多媒體的全球標準（附部分視頻）

本文來自中國移動咪咕公司總監 徐嵩在LiveVideoStackCon2019深圳站上的精彩分享，其中將重點介紹超高清的全球標準、未來趨勢及落地關鍵因素。

https://mp.weixin.qq.com/s/z-ppsEAQ-COuhlgj_e-Aag

視頻編碼中編碼和計算效率對比

本文是來自video@scale 2019的演講，演講者是Ioannis Katsavounidis，是Facebook的研究科學家。演講主題是視頻編碼中編碼和計算效率對比。

https://mp.weixin.qq.com/s/_iEiFtDBytOHpVwuVWX4jg

中國AVS超高清編碼標準體系與生態建設（附部分視頻）

隨著5G時代的到來，視頻壓縮方面面臨更大的挑戰，另外用戶對于視頻需求的提高使得在視頻壓縮方面需要做更多的提升。本文來自北京大學的王榮剛在LiveVideoStackCon 2019深圳站上的精彩分享，主題是中國AVS超高清編碼標準體系與生態建設。

https://mp.weixin.qq.com/s/UNhJ_taAj7JMDWBXGKV-cw

視頻技術

Hey Siri喚醒原理

喚醒現在用在各個方便，這篇翻譯的文章之前語音雜談也轉載過部分內容，希望大家學習愉快。hey siri喚醒跟目前一些主流方案不太一樣，但也有值得借鑒的地方。

https://mp.weixin.qq.com/s/idXP4Y-B4pYYfM2egg6KYQ

什么是聲學？

聲學是聲音的科學。也就是說，一切和聲音有關的事物，都在聲學研究的范圍內。從各種東西發出聲音，經過不同的東西傳播，被能聽見聲音的器官，比如耳朵，接收并感知到，這一系列過程的每一個環節都和聲學相關。

https://zhuanlan.zhihu.com/p/104660783?utm_source=wechat_session&from=timeline&utm_medium=social&s_s_i=Xj%2BRn907XYOJcBsU0CLMrBX1o%2BE4U%2FB8%2FZD3VwU%2FSCE%3D&s_r=0

HDR視頻介紹

本文是來自video@scale 2019的演講，演講者是Rich Gerber，是Netflix的軟件工程師。演講主題是介紹HDR視頻，HDR指的是High Dynamic Range，是亮暗像素的比例。

https://mp.weixin.qq.com/s/Ro7HetIrkOnWHRbWs1nECA

視頻會議未來趨勢不完全預測

“是什么推動了視頻會議的迅猛增長，以及我們在未來幾年內有望看到什么？” 考慮到將來投入遠程視頻會議的資金多少，科技媒體UC Today提出了這樣的疑問。

我們對此也同樣好奇，所以在新年伊始開展了視頻會議的專題策劃，與Cisco WebEx、聲網Agora、億聯網絡等探討了視頻會議2020年的機遇與挑戰，并描畫了平臺未來的圖景。

https://mp.weixin.qq.com/s/Ook7nu93oxOG-cG7ZdfYeA

大規模高效視頻分析系統

新興的視覺計算應用程序需要對大量可視數據存儲庫進行有效的分析和挖掘。在這些數據集上運行需要有效的系統來進行像素級數據訪問以及跨大量機器的并行處理。演講者創建了大規模高效視頻分析系統Scanner，將抽象表示的視頻分析應用程序調度到多核CPU、GPU和媒體處理ASIC上來進行高吞吐量的像素處理。這些應用程序可以用數千個云CPU或數百個GPU的規模查詢、分析和挖掘視頻集合。

https://mp.weixin.qq.com/s/Rfytx6bVVbScJ-yieajKjg

ATSC 3.0簡介

從ATSC1.0出發，Jason指出ATSC1.0標準發起了傳統模擬電視像數字電視的轉變，是強制性的；而ATSC3.0在1.0的基礎上增強了很多功能，它結合OTA信號和家用寬帶信號支持電視4K UHD播放，集成了HDR，WCG和HFR，IP組播等多種特征。

https://mp.weixin.qq.com/s/bfdQBwFockOQNrMENgACbg

Shaka Streamer：直播/點播內容準備工具

本文是來自Seattle Video Tech的演講，講者是來自于Google公司的Joey Parrish。使用ffmpeg來準備視頻內容需要寫出冗長的難以理解的腳本，本次演講介紹了Shaka Streamer這一開源工具來簡化配置。

https://mp.weixin.qq.com/s/cMLU24tSf_G7rjND72xYJQ

Android | 音視頻方向進階路線及資源合集

本文將從Android系統API的角度，逐層深入。

https://juejin.im/post/5e61e19be51d4526db751082

人物專訪

范醒哲：敬畏自然 渴望技術 —— 新冠肺炎后對網絡數據傳輸能力的思考

時隔近一年的時間，我們再次有幸采訪到了Cascade Range Network的聯合創始人兼CEO范醒哲，這次我們和他聊了聊數據傳輸技術在視頻會議中的應用。本文由LiveVideoStack與范醒哲的郵件采訪整理而成。

https://mp.weixin.qq.com/s/cKaT6QqduOlDgFZxGT1H2g

做技術的，不要去迷信黑科技 | 對話思科Webex 研發總監汪凱

這次疫情給我帶來了一些思考，就是不要總想著說將來要去干些什么。我們受到的教育告訴我們要準備充分再去做一件事，但我想說你要是想做就去做?；钤诋斚驴赡芨匾恍┦前?#xff1f;你想要去看世界，你就看好了。

https://mp.weixin.qq.com/s/d7-QzSyNzOpCuy3tIWmEWg

AI智能

騰訊多媒體實驗室開源國內首個視頻質量評估算法DVQA

近日，騰訊多媒體實驗室設計的基于深度學習的全參考視頻質量評估算法DVQA在Github上正式開源，該算法模型的性能目前在公開測試數據集上取得業界領先成績。?

https://mp.weixin.qq.com/s/BiJ3Dy8pNBEOWnIIdzfQjg

騰訊推出超強少樣本目標檢測算法，公開千類少樣本檢測訓練集FSOD | CVPR 2020

論文提出了新的少樣本目標檢測算法，創新點包括Attention-RPN、多關系檢測器以及對比訓練策略，另外還構建了包含1000類的少樣本檢測數據集FSOD，在FSOD上訓練得到的論文模型能夠直接遷移到新類別的檢測中，不需要fine-tune。

https://mp.weixin.qq.com/s/eOJi8Aeg-39FojtuCnpjQQ

Facebook研究開放三個新的深度學習框架

Facebook人工智能研究(FAIR)開源的三個新版本。

https://mp.weixin.qq.com/s/0EsiK7Ck3Hmuzre_QxMNHw

圖像

圖像處理中常見的形態學方法

形態學圖像處理（簡稱形態學）是指一系列處理圖像形狀特征的圖像處理技術。

https://zhuanlan.zhihu.com/p/110787009

?

理解卷積神經網絡的局限

早期的計算機視覺利用符號人工智能（symbolic artificial intelligence），但需要人類制定每條規則，該方式難以成功。另一種方法是使用機器學習，與符號AI相反，機器學習算法具有一般結構，并通過訓練樣本學到它們自身的行為。但早期的機器學習算法仍然需要大量的人工設計來檢測圖像中的相關特征。

https://mp.weixin.qq.com/s/A4r1BzkMny_rsgZf8uTYOQ

Dual Conversion Gain技術在HDR Imaging的應用

隨著手機圖像傳感器的像素數越來越高，?單像素尺寸變得越來越小，現在的億像素sensor pixel pitch已經到了0.8um。Pixel size變小所帶來的full well capacity 與SNR 性能的變差,也很大地影響了sensor的動態范圍，所以手機sensor廠需要采用新的技術手段解決改善這個問題。

DCG（dual conversion gain）是一項廣泛使用在車載與監控這種HDR imaging領域的技術，現在手機sensor廠商也把這項技術使用在mobile image sensor中。

https://mp.weixin.qq.com/s/qd0DdIgpVWzLEFJkAT31oA

資源推薦

Media for Mobile

Media for Mobile是一組易于使用的組件和API，適用于各種媒體場景，例如視頻編輯和捕獲。它包含幾個用于最流行用例的完整管道，并提供了將用戶開發的組件添加到這些管道的可能性。

https://github.com/INDExOS/media-for-mobile

FaceMaskDetection

開源人臉口罩檢測模型和數據，檢測人臉并判斷是否佩戴了口罩，并開源近8000張人臉口罩標注數據。

https://github.com/AIZOOTech/FaceMaskDetection

點擊“閱讀原文”可查看更多詳細信息，請大家科學上網。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 | 135的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。