每周一期，縱覽音視頻技術領域的干貨。

新聞投稿：contribute@livevideostack.com。

小提示：鏈接跳轉僅支持公眾號相關鏈接

XK265：開源視頻編解碼硬件IP核

本文來自復旦大學微電子學院教授范益波在LiveVideoStackCon 2021上海站的演講內容，分享從硬件和軟件的區別切入，詳細介紹了硬件編碼器的硬件微架構，面向與芯片實現的X1編碼器和面向與FPGA實現的K1編碼器，以及開源版本的視頻編碼器。

OTT交付如何超越傳統廣電交付，為用戶帶來高質量視頻網絡——對話Synamedia流媒體技術發展經理盧彥林

Synamedia是一家專門為付費電視運營商提供端到端解決方案的公司，在全球范圍內擁有眾多知名客戶。每天有一億用戶通過Synamedia產品搭建的網絡收看一百多萬個視頻廣播節目。LiveVideoStack近日采訪了Synamedia流媒體技術發展經理盧彥林，他擁有超過十年的視頻處理行業經驗，目前在Synamedia主要負責OTT業務。9月的LiveVideoStackCon音視頻大會上，盧彥林老師將帶來精彩演講。

RTP誕生記

RTP和RTCP是處理所有多媒體傳輸的重要協議，于1996年1 月在RFC 1889中定義。在本篇文章中，RTP協議的作者之一Ron Frederick將為我們講述這個如此重要的協議是如何誕生的。

【線上圓桌 - 科天云】兼容海量設備、應對復雜網絡

后疫情時代，云會議已經被越來越多的企業熟知、使用，正在成為企業數字化辦公的“新基建”，而支撐云會議的底層技術，RTC、音視頻技術等也備受關注，正在賦能更多行業提升數字化管理和無接觸服務能力。本次邀請到科天云研發中心總經理張軍分享RTC中的兩大難點：兼容海量設備和應對復雜網絡，分享科天云在其中的客戶需求洞察、技術思考和技術創新實踐。

技術解碼| 基于ijkplayer的快直播傳輸層SDK應用實踐

快直播是對標準直播邊緣進行WebRTC改造的一種低延遲直播產品方案，在低延遲的同時，完全兼容標準直播的推流、云端媒體處理能力，并具有CDN強大的分發能力。客戶可以從現有的標準直播平滑地遷移到快直播上來，快速實現低遲時直播場景應用。

穿越防火墻的奧秘：ICE協議詳解

“后”疫情時代，以線上為主的學習、工作、交流、娛樂方式成了常態，這一現象背后是實時音視頻技術的不斷創新和突破。為了給企業和開發者提供極致的音視頻體驗，拍樂云技術團隊除了采用廣布 DC，將服務下沉到最后一公里之外, ?還會根據應用場景切換技術方案，如果僅有兩個終端參與通信，會選擇媒體直連方案以降低服務器開銷?，F在的電腦和設備通常都位于防火墻之后，無法簡單建立直連，于是防火墻穿越技術應運而生。穿越防火墻的技術方案多種多樣，本文將詳細介紹其中一個框架——ICE協議，幫助大家掌握防火墻穿越的基本流程。

基于學習的視覺數據壓縮技術和標準

本文來自PCS會議（2021）的一次Keynote，演講者是來自騰訊的Shan Liu，題為“Learned Visual Data Compression Technologies and Standards”。主要對基于學習的視覺多媒體信息壓縮及其歷年標準提案進行了綜述。

面向VMAF的HEVC感知率失真優化

HEVC / VVC 等視頻編碼框架中的率失真優化（RDO）模塊均使用SSE作為失真準則，沒有充分考慮人類視覺系統的特性。近期，Netflix開發了學習類客觀質量指標 VMAF，并已被證明比傳統指標更準確。為將VMAF結合至RDO以提高感知編碼效率，我們提出了一種基于 CNN 在線訓練的感知RDO方案，由關鍵幀準確計算得到的VMAF相關系數被用于訓練和推導后續幀的VMAF相關系數，該系數最終在RDO中被用于調節編碼塊的拉格朗日乘子。

ICME2021：實時VVC軟件解碼器

2020年7月VVC標準正式發布，在相同主觀質量下VVC相比HEVC能節省50%的碼率，但是復雜度也大幅提升。本文提出了對VVC解碼器進行優化的方法，利用SIMD指令集和并行處理方案能在基于x86的CPU上達到4k 60fps的VVC實時解碼速度。

視頻編解碼器標準化和生態系統進展

本文來自PCS 2021的一次Keynote，演講者是來自Intel的Jill Boyce，演講題目是“Video Codec Standardization and Ecosystem Update”，主要介紹了視頻編解碼器的標準化和進展。

【線上圓桌 - 263】視頻會議終端到終端的加密

本次分享，將針對當前各類終端加密場景，分別介紹基于WebRTC的會議、SFU模式的會議以及WebRTC SFU模式的會議數據加密的異同。

多媒體前端技術入門指南

隨著直播視頻平臺的快速崛起和發展，前端衍生出了多媒體技術方向，各公司的傳統前端團隊里陸續出現了一支新軍：Web多媒體團隊。光看團隊Title，這應該是一個擁有前端×多媒體交叉領域稀有技能的群體。

說說 FFmpeg 和 H264 視頻編解碼的那些事

做CV的人經常面對的東西之一就是用ffmpeg處理視頻，本文聚焦的就是ffmpeg和H264視頻編碼的一些概念和命令。因為實際使用的時候大多數的人都會遇到一些比較困惑的問題，比如ffmpeg截取視頻為什么做不到幀級的精確。不管怎樣，本文還是屬于偏工程方面的論述。

HTTP自適應流會走向何處？

本文來自PCS會議（2021）的一次Keynote，演講者是來自ATHENA的Christian Timmerer，主題是“HTTP自適應流會走向何處”。

論文推介：基于稀疏度量的端到端語音識別模型加速

語音識別（Auto Speech Recognition, ASR）技術是一種將連續的語音信號轉化為文本的技術，近年來，隨著深度學習的蓬勃發展，端到端（End-to-End，E2E）語音識別技術以其簡單的體系結構和優異的性能廣受青睞。近期出門問問聯合西工大音頻語音與語言處理研究組（ASLP@NPU）研發的WeNet工具包，具有簡潔性、易用性和易部署的特點。

深入探索視頻幀中的顏色空間—— RGB 和 YUV

接觸前端音視頻之后，需要掌握大量音視頻和多媒體相關的基礎知識。在使用 FFmpeg + WASM 進行視頻幀提取時，涉及到視頻幀和顏色編碼等相關概念。本文將對視頻幀中的顏色空間進行介紹。

webgl渲染Yuv420P圖像

Yuv420P格式在安防視頻中非常常見，因為H264或者H265解碼之后，就是這種格式。YUV定義了三個分量：“Y”表示明亮度（Luminance或Luma）也就是灰度值。U和V表示色度。

時空聯合3D降噪算法理論分析

作為最主要的多媒體傳播載體之一，視頻圖像的質量問題得到了越來越多的關注，這就要求我們不但要不斷完善傳統的視頻圖像像素域去噪技術，而且還要進一步展開對新的視頻圖像降噪算法的研究與開發，比如近幾年發展迅猛的轉換域視頻圖像降噪算法。

探秘HDR：西瓜、抖音是如何做到讓視頻的畫質堪比影院大片的？

相比于此前業內通用的SDR（Standard Dynamic Range，標準動態范圍圖像），HDR圖像能夠呈現的明暗細節更多，色彩更豐富，能夠最大程度地還原真實場景。?

從AR光學開始，了解AR眼鏡

盡管所有人都認為AR會變成像智能手機一樣強大，但是我們至今仍未能夠在市面上看到一款令人滿意的AR眼鏡，這樣龐大的投入和關注都未能帶來一款撐得起口碑的產品，AR眼鏡的難點究竟是什么？

特斯拉純視覺FSD版本Bug頻發！馬斯克：不認真測試的車主就取消資格

馬斯克多次承諾又多次跳票的特斯拉“全自動駕駛套件”FSD 9.0 beta可算來了。這次最大的改動莫過于采用純視覺路線。一直堅稱不要激光雷達的馬斯克，這回連毫米波雷達也拋棄了，只靠攝像頭。另一項改進是讓自動輔助導航駕駛可以用于城市道路。最后是在UI上，去掉了之前版本密密麻麻的目標檢測框，新版的渲染效果讓人眼看起來更舒服。

匯總|CVPR 2021 自動駕駛相關論文

CVPR 2021全部論文已經放出，網址https://openaccess.thecvf.com/CVPR2021?day=all。特總結自動駕駛相關論文（包含自動駕駛workshop)，文章雖然不多，但是產生了兩篇最佳論文候選，都出自Uber ATG。

視覺激光雷達信息融合與聯合標定

本文主要介紹了關于視覺和激光雷達進行信息融合相關內容，包括相機標定，攝像頭與激光雷達聯合標定，信息融合節點等等。利用激光雷達和視覺信息融合,我們可以結合二者的優點優化障礙物檢測或交通標志的識別，以及優化其他相關任務等等。

閱讀推薦

2021中國AI產業10大趨勢，一分鐘看明白 | WAIC2021

中國AI產業，現狀到底幾何？在逛了足足3天的世界人工智能大會（WAIC）之后，與之相關的一幅全景圖，逐漸浮現了出來。

《工業互聯網綜合標準化體系建設指南（2021版）》（征求意見稿）發布，推動邊緣計算標準體系構建與示范應用

邊緣計算是工業互聯網網絡體系和平臺體系的重要支撐技術，有效推動工業數據縱向集成及實時處理，已經成為工業互聯網云邊網端協同的關鍵樞紐環節。2021年7月7日，工業和信息化部、國家標準化管理委員會組織編制《工業互聯網綜合標準化體系建設指南（2021版）》（征求意見稿），其中多項舉措涉及邊緣計算，將推動邊緣計算標準體系構建與示范應用，詳情……

干貨 | 2021年中國邊緣云計算行業展望報告

邊緣云計算構筑在位于中心云與終端之間的邊緣基礎設施之上，是云計算能力由中心向邊緣的下沉，強調通過云邊的一體化、協同管理來解決在集中式云計算模式下所無法滿足的業務需求。2020年中國邊緣云計算市場規模為91億元，預計到2030年中國邊緣云將增長至接近3000億元。本報告從核心價值、驅動因素、商業模式、應用場景、落地難點、競爭要素、產業格局等方面對邊緣云計算行業展開研究，力求勾勒邊緣云計算的全景圖，并以十年為期展望行業的發展階段，為供需雙方提供有價值的參考。

活動推薦

2021年GIAC全球互聯網架構大會策劃了24個技術專題，邀請了84+架構師、技術負責人與會進行分享，深度解密2021年的最新架構演進和技術發展趨勢，為IT從業人員帶來前后端架構實踐案例、技術方案以及技術管理經驗。

專題方向覆蓋架構、AI、運維、管理、安全、數據中臺、微服務、DevOps等，組委會屆時會攜手100余位來自阿里、百度、華為、快手、騰訊云等一線互聯網資深架構師及CTO為主的大咖講師，進行深入的技術解讀，希望通過2天，84+落地實踐與前沿技術案例，可以為大家帶來一場收獲之旅。掃描圖片二維碼即可獲取GIAC大會PPT資源包一份。

插圖源自Pexels

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 | 204的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。