音视频技术开发周刊 | 200
每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。
新聞投稿：contribute@livevideostack.com。
小提示：鏈接跳轉(zhuǎn)僅支持公眾號相關(guān)鏈接
全域調(diào)度：云邊協(xié)同在視頻場景下的探索實(shí)踐
隨著多媒體業(yè)務(wù)越來越多的涌現(xiàn)，每個(gè)業(yè)務(wù)都有不同的差異性特征。各大視頻云廠商遇到的最大挑戰(zhàn)是如何打造多媒體分發(fā)網(wǎng)絡(luò)，使用最低成本為多業(yè)務(wù)提供最優(yōu)質(zhì)網(wǎng)絡(luò)體驗(yàn)。本次分享邀請到了華為云算法專家——楊昌鵬老師，為我們介紹云邊協(xié)同在視頻場景下的探索實(shí)踐。
5G低延時(shí)的誤區(qū)和機(jī)會——從理論到工程落地的數(shù)據(jù)差異
我們有幸請到虎牙直播的5G首席架構(gòu)師——林正顯老師，為我們介紹5G低延時(shí)的誤區(qū)和機(jī)會。本文從介紹5G低延時(shí)原理開始，一步步解開大眾對5G低延時(shí)的5個(gè)誤區(qū)，最后分享了虎牙直播在建設(shè)低延時(shí)確定性網(wǎng)絡(luò)技術(shù)的想法以及5G在其他場景的應(yīng)用。
“保持耐心”，永遠(yuǎn)從用戶角度出發(fā)— 專訪阿里巴巴淘系技術(shù)內(nèi)容中臺負(fù)責(zé)人吳桂林(梁舒)
互聯(lián)網(wǎng)電商的出現(xiàn)為人們的生活帶來了很大便捷，隨著媒體化的趨勢和發(fā)展，更多電商相關(guān)如直播、短視頻等內(nèi)容形式紛紛涌現(xiàn)，帶來的是更高的技術(shù)要求與挑戰(zhàn)。
FaceTime 終于接入WebRTC - 實(shí)施深度探討
在今年的全球開發(fā)者大會(WWDC)主題演講中，蘋果宣布可以在網(wǎng)頁瀏覽器中使用FaceTime, Android和Windows用戶也可以使用。距離我們上次看到有關(guān)FaceTime的信息已經(jīng)過去六年了(那時(shí)FaceTime沒有接入WebRTC)，所以是時(shí)候更新了。
https://webrtchacks.com/facetime-finally-faces-webrtc-implementation-deep-dive/
你會在你的WebRTC 應(yīng)用程序中使用哪種視頻編解碼器呢？
當(dāng)為WebRTC應(yīng)用程序來選擇正確的視頻編解碼器已經(jīng)成為了一件非常棘手的事兒時(shí)...你是應(yīng)該使用VP8? H.264? VP9? 還是 AV1? 或者 HEVC呢？
OTA：目標(biāo)檢測中的最優(yōu)傳輸分配
該論文主要是關(guān)于目標(biāo)檢測中的標(biāo)簽分配問題，作者創(chuàng)新性地從全局的角度重新審視了該問題，并提出將標(biāo)簽分配問題看成是一個(gè)最優(yōu)運(yùn)輸問題。要知道最優(yōu)傳輸問題是當(dāng)前最優(yōu)化理論和GAN理論研究領(lǐng)域中的一個(gè)很火的研究課題。論文的實(shí)驗(yàn)效果俱佳，而且作者還提供了相應(yīng)的源碼。
WebRTC 傳輸安全機(jī)制第二話：深入顯出 SRTP 協(xié)議
通過 DTLS 協(xié)商后，RTC 通信的雙方完成 MasterKey 和 MasterSalt 的協(xié)商。接下來，我們繼續(xù)分析在 WebRTC 中，如何使用交換的密鑰，來對 RTP 和 RTCP 進(jìn)行加密，實(shí)現(xiàn)數(shù)據(jù)的安全傳輸。
H.264 編解碼器：高級視頻編碼 (AVC) 說明
本文提供了 H.264 編解碼器的快速概述：它是什么、它如何執(zhí)行、它的成本是多少以及它有什么好處。我們將在最后一節(jié)介紹有效部署 H.264 編解碼器所需了解的內(nèi)容。
https://www.wowza.com/blog/h264-codec-advanced-video-coding-avc-explained
使用 VideoToolbox 探索低延遲視頻編碼?
支持低延遲編碼已成為視頻應(yīng)用程序開發(fā)過程的一個(gè)重要方面，在低延遲直播和 RTC 領(lǐng)域有著廣泛的應(yīng)用。本分享主要分享了 VideoToolbox（一個(gè)低級框架，提供對硬件編碼器和解碼器的直接訪問， 它提供視頻壓縮和解壓縮服務(wù)，以及存儲在 CoreVideo 像素緩沖區(qū)中的光柵圖像格式之間的轉(zhuǎn)換）是如何支持低延遲 H.264 硬件編碼，以最大限度地減少端到端延遲并實(shí)現(xiàn)新的性能水平，最終實(shí)現(xiàn)最佳實(shí)時(shí)通信和高質(zhì)量視頻播放。
字節(jié)跳動億級視頻處理系統(tǒng)高可用架構(gòu)實(shí)踐
火山引擎視頻中臺支撐了火山引擎視頻的相關(guān) ToB 業(yè)務(wù)，同時(shí)也支持了字節(jié)跳動抖音、西瓜視頻等產(chǎn)品的視頻生產(chǎn)、下發(fā)、播放等全部視頻生命周期。本文將向大家全面介紹我們的視頻處理系統(tǒng)及在高可用性方面做的一些工作。
VSR-Transformer | 超越BasicVSR，Transformer拿下視頻超分
最近，Transformer在CV領(lǐng)域攪翻了天，在各個(gè)CV領(lǐng)域打出了半片天。比如，Detection、Segmentation、Classification等等均出現(xiàn)了Transformer這個(gè)“攪局者”；甚至Low-level領(lǐng)域也被Transformer占領(lǐng)多個(gè)高峰，比如超分、降噪、去雨等等。一直以為視頻超分可能還會再等一段時(shí)間，哪成想，視頻超分領(lǐng)域也成了Transformer的附屬地。
Windows Core Audio 音頻開發(fā)技術(shù)指南
在音視頻通信處理流程中，音頻方面最基本的無外乎就是音頻的采集和播放。windows 平臺下，有很多音頻采集播放的方法。在本篇內(nèi)容中我們將主要圍繞 Core Audio，講解它的優(yōu)劣勢，以及我們基于它來做 windows 音頻采集播放的技術(shù)實(shí)踐。
用AVQT評估視頻
本文來自蘋果WWDC21開發(fā)者大會，蘋果公司顯示和色彩技術(shù)團(tuán)隊(duì)成員Pranav介紹了全新的視頻質(zhì)量評價(jià)工具AVQT（ Advanced Video Quality Tool）。
遮擋人臉問題 | 詳細(xì)解讀Attention-Based方法解決遮擋人臉識別問題
本文提出了一種新的遮擋人臉識別方法，能夠識別不同遮擋區(qū)域的人臉。通過將一個(gè)ResNet中間特征映射的attentional pooling與一個(gè)單獨(dú)的聚合模塊相結(jié)合來實(shí)現(xiàn)這一點(diǎn)。為了保證attention map的多樣性，并處理被遮擋的部分，作者進(jìn)一步對遮擋Face的常見損失函數(shù)進(jìn)行了調(diào)整。實(shí)驗(yàn)表明，在多個(gè)benchmark下本文方法的性能優(yōu)于所有baseline。
XMC-GAN：從文本到圖像的跨模態(tài)對比學(xué)習(xí)
Google提出了一個(gè)跨模態(tài)對比學(xué)習(xí)框架來訓(xùn)練用于文本到圖像合成的 GAN 模型，用于研究解決生成的跨模態(tài)對比損失問題。
如何在VR購物體驗(yàn)中模擬毛料質(zhì)感？
近期，國立臺灣大學(xué)和國立政治大學(xué)的科研人員，就提出了一種機(jī)械的毛發(fā)觸感模擬VR手柄，特點(diǎn)是可以模擬不同觸感的毛，比如小貓的背部，或是各種毛料材質(zhì)的枕頭等等。此前的一些觸覺反饋手柄研究已經(jīng)可以模擬摘蘋果、溫度變化、彈力球等場景的觸感，而臺灣科研人員發(fā)布的這項(xiàng)VR體感方案，則旨在模擬更加逼真的毛發(fā)感。
Facebook AR/VR戰(zhàn)略揭秘：為何自研操作系統(tǒng)、低門檻AR眼鏡是未來
在近期于Instagram上舉行的問答活動中，Facebook Reality Labs老大Andrew Bosworth連線CEO扎克伯格，回答了網(wǎng)友提出的許多問題，進(jìn)一步透露關(guān)于未來Facebook AR/VR發(fā)展策略的更多信息。其中，扎克伯格還透露自己最喜歡玩多人VR射擊游戲《Onward》，難怪今年5月Facebook宣布收購該作開發(fā)公司Downpour Interactive。
真正的無人駕駛汽車的夢想，為何正在慢慢破滅？
美國汽車工程師學(xué)會（SAE）關(guān)于自動駕駛分級標(biāo)準(zhǔn)的定義已經(jīng)成為定義自動駕駛車輛的全球行業(yè)參照標(biāo)準(zhǔn)，用以評定自動駕駛技術(shù)。其中，L5 級是完全自動化，由無人駕駛系統(tǒng)完成所有的駕駛操作。一些專家認(rèn)為這將需要十年甚至更長的時(shí)間，而另一些專家則認(rèn)為 L5 級的自動駕駛永遠(yuǎn)不會實(shí)現(xiàn)。
你知道A2B技術(shù)在新興汽車應(yīng)用中有哪些出色的性能嗎？
在汽車座艙電子市場，隨著汽車制造商努力實(shí)現(xiàn)車輛差異化以區(qū)別于競爭對手，一個(gè)越來越明顯的趨勢是音頻、語音和聲學(xué)相關(guān)應(yīng)用正在迅速擴(kuò)張。此外，隨著普通消費(fèi)者對技術(shù)越來越了解，其對駕駛體驗(yàn)和個(gè)人與車輛交互水平的期望也在大幅提高。家庭影院質(zhì)量的音響系統(tǒng)已成為所有價(jià)位車輛的尋常配置，現(xiàn)在還出現(xiàn)了復(fù)雜的語音免提(HF)和車內(nèi)通信(ICC)系統(tǒng)。
活動推薦
《ECUG Meetup 第 1 期丨2021 音視頻技術(shù)最佳實(shí)踐·杭州站》
為滿足各行業(yè)、多場景的需求，由 ECUG x 七牛云主辦的「ECUG Meetup 第 1 期 · 杭州站」，將從業(yè)務(wù)場景驅(qū)動，帶你吃透音視頻技術(shù)架構(gòu)、應(yīng)對真實(shí)業(yè)務(wù)場景的挑戰(zhàn)。
點(diǎn)擊即可報(bào)名參會，更有機(jī)會領(lǐng)取官方周邊 & 參與抽獎(jiǎng)：http://nxw.so/5Y0jX
《聊聊字節(jié)跳動億級 DAU 背后的音視頻技術(shù)最佳實(shí)踐》
6 月 26 日，火山引擎開發(fā)者社區(qū)將舉辦第三期 Meetup，將和大家一起聊聊億級 DAU 短視頻產(chǎn)品背后的音視頻、直播、點(diǎn)播、RTC 等最佳技術(shù)實(shí)踐，探討如何打造極致的音視頻用戶體驗(yàn)，揭秘支撐抖音和西瓜等現(xiàn)象級產(chǎn)品背后的秘密“武器”。
點(diǎn)擊鏈接，即可報(bào)名參與：https://www.bagevent.com/event/sales/lvsedm
插圖源自Pexels
超強(qiáng)干貨來襲 云風(fēng)專訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 | 200的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： “保持耐心”，永远从用户角度出发— 专访
- 下一篇： OneVPL与FFmpeg/GStrea