每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。

新聞投稿：contribute@livevideostack.com。

小提示：鏈接跳轉(zhuǎn)僅支持公眾號相關(guān)鏈接

GRTN賦能淘系內(nèi)容業(yè)務(wù)的演進(jìn)路線及未來規(guī)劃

為了全面提升淘寶直播體驗和互動能力，淘系技術(shù)團隊聯(lián)合阿里云經(jīng)歷三年時間打造了首個全鏈路RTC實時傳輸網(wǎng)。在時延、成本、抗弱網(wǎng)等指標(biāo)均取得巨大提升。本次邀請到阿里巴巴淘系技術(shù)資深技術(shù)專家陳舉鋒老師（豐火），為我們介紹GRTN的技術(shù)演進(jìn)路線及未來規(guī)劃。

Netflix 如何大規(guī)模使用 eBPF 流日志進(jìn)行網(wǎng)絡(luò)洞察

Netflix 開發(fā)了一個名為Flow Exporter的網(wǎng)絡(luò)可觀察性 sidecar ，它使用 eBPF 跟蹤點近乎實時地捕獲 TCP 流。這種高性能的 sidecar 僅占實例上不到 1% 的 CPU 和內(nèi)存，可大規(guī)模提供流量數(shù)據(jù)以進(jìn)行網(wǎng)絡(luò)洞察。

https://netflixtechblog.com/how-netflix-uses-ebpf-flow-logs-at-scale-for-network-insight-e3ea997dca96

IETF：QUIC Version 1 (RFC 9000) 作為標(biāo)準(zhǔn)化版本現(xiàn)已發(fā)布

QUIC已被廣泛部署和使用，可提供更低的延遲、更高的安全性和更強大的數(shù)據(jù)交付。

萬萬沒想到，TRTC還能這么玩

國內(nèi)的用戶肯定駕輕就熟，鵝的QQ\微信\騰訊會議早就讓大家擁有了這份快樂。其實，支持這些功能的底層技術(shù)，就是 TRTC，不僅可以支持超低延時的實時互動，還擁有屏幕共享、AI降噪、互動白板、美顏濾鏡等特性。

機器視覺編碼技術(shù)與標(biāo)準(zhǔn)進(jìn)展

本文整理自中國電信研究院新技術(shù)所機器視覺標(biāo)準(zhǔn)與應(yīng)用研究部主任張園在LiveVideoStack做的線上分享。她詳細(xì)介紹了VCM、DCM等標(biāo)準(zhǔn)組織機器視覺編碼標(biāo)準(zhǔn)化工作最新進(jìn)展、技術(shù)創(chuàng)新思路。

音樂編解碼器的更新情況

在我最近關(guān)于高分辨率音頻播放器以及為它們提供內(nèi)容的服務(wù)和外部DAC和放大器的報道中，我意識到我向我的讀者拋出了很多新的可能不熟悉的術(shù)語。自從我上一次深入介紹無損和有損音頻壓縮標(biāo)準(zhǔn)以來，已經(jīng)有一段時間了，確切地說，是20年！而且世事變遷，所以這個簡短的更新可能是遲來的。

Android 獲取 FFmpeg 執(zhí)行進(jìn)度

在以命令方式調(diào)用 FFmpeg 的時候，可能會執(zhí)行一些比較耗時的任務(wù)，這時如果沒有進(jìn)度展示，用戶可能會以為程序崩潰了，體驗十分不好。能不能在以命令方式調(diào)用 FFmpeg 時實時獲取執(zhí)行進(jìn)度呢？谷歌關(guān)鍵詞 “Android FFmpeg 命令” 可以得到很多教程，但加上關(guān)鍵詞 "進(jìn)度"就沒有相關(guān)文章了，看來以命令方式調(diào)用 FFmpeg 實時獲取執(zhí)行進(jìn)度這個需求沒有前人的肩膀可站，要開動自己的小腦筋了。

揭秘視頻千倍壓縮背后的技術(shù)原理之預(yù)測技術(shù)

隨著5G的成熟和廣泛商用，帶寬已經(jīng)越來越高，傳輸視頻變得更加容易。設(shè)備特別是移動設(shè)備算力的提升、存儲容量的提升，使得視頻技術(shù)的應(yīng)用越來越廣泛，無論是流媒體、泛娛樂、實時通信，視頻都帶給了用戶更加豐富的體驗。

使用 AVIF 壓縮網(wǎng)站圖像

AVIF 是一種基于 AV1 視頻編解碼器的圖像格式，并由開放媒體聯(lián)盟標(biāo)準(zhǔn)化。與其他圖像格式（如 JPEG 和 WebP）相比，AVIF 提供了顯著的壓縮增益。

https://web.dev/compress-images-avif/

實時交互式視頻流的 5 個軍事和航空航天用例

事實證明，支持任何配置、任何規(guī)模和任何距離的實時交互式視頻流對于越來越多的與軍事和太空行動相關(guān)的應(yīng)用來說都是非常寶貴的。

https://www.red5pro.com/blog/5-military-and-aerospace-use-cases-for-real-time-interactive-video-streaming/

CVPR 2021 | 基于Transformer的端到端視頻實例分割方法

實例分割是計算機視覺中的基礎(chǔ)問題之一。目前，靜態(tài)圖像中的實例分割業(yè)界已經(jīng)進(jìn)行了很多的研究，但是對視頻的實例分割（Video Instance Segmentation，簡稱VIS）的研究卻相對較少。而真實世界中的攝像頭所接收的，無論是自動駕駛背景下車輛實時感知的周圍場景，還是網(wǎng)絡(luò)媒體中的長短視頻，大多數(shù)都是視頻流信息而非純圖像信息。因而研究對視頻建模的模型有著十分重要的意義，本文系美團無人配送團隊在CVPR2021發(fā)表的一篇Oral論文: 《End-to-End Video Instance Segmentation with Transformers》的解讀。

https://tech.meituan.com/2021/06/03/cvpr-transformer.html

風(fēng)多大都能讓你聽見，這個視頻制作APP幫你告別「全損音質(zhì)」

「你說什么？風(fēng)太大我聽不見！」這句大家經(jīng)常拿來玩梗的話其實在現(xiàn)實中也經(jīng)常發(fā)生，尤其是在短視頻的錄制過程中。風(fēng)聲、雨聲、機器聲…… 每一種噪聲都可能讓你的視頻擁有「全損音質(zhì)」。

未來AI將會在這10個方向升級｜騰訊優(yōu)圖聯(lián)合廈大發(fā)布趨勢預(yù)測

近日，在杭州舉辦的2021全球人工智能技術(shù)大會上，騰訊優(yōu)圖聯(lián)合廈門大學(xué)正式發(fā)布了《2021十大人工智能趨勢》（以下簡稱“趨勢報告”），基于雙方長期對人工智能尤其是計算機視覺的研究洞察，對3D視覺技術(shù)、數(shù)字內(nèi)容產(chǎn)業(yè)、AI深度學(xué)習(xí)算法、AI內(nèi)核芯片等方向進(jìn)行了分析預(yù)測。

谷歌讓AI芯片學(xué)會“下崽”，下一代TPU就讓AI自己設(shè)計

設(shè)計一塊AI芯片有多難？這么說吧，圍棋的復(fù)雜度10360，而芯片則是102500，你感受一下……一般來說，工程師們設(shè)計一塊芯片，少則需要幾周，多則好幾個月。現(xiàn)在，AI生產(chǎn)力來了！AI自己動手，竟然用6小時就設(shè)計出一塊芯片。最近，這項谷歌的研究登上了Nature雜志。

技術(shù)的真相：讓手機夜拍也精彩的原理竟然是...

智能手機、智能相機已經(jīng)成為我們記錄生活，留住美好瞬間的重要工具。但是每次在暗光環(huán)境中按下快門后，你是否擔(dān)心照片滿是像素點、“鬼影”重重、一片模糊？不過，你又是否發(fā)現(xiàn)，如今的手機夜拍已經(jīng)做到即使暗光拍攝都能清晰可見。其實，圖像質(zhì)量的變高，都離不開對相機ISP參數(shù)的調(diào)試，本期“技術(shù)的真相”將帶你揭秘讓夜拍越來越精彩的神奇技術(shù)背后的實現(xiàn)細(xì)節(jié)。

基于CDN邊緣網(wǎng)絡(luò)智能優(yōu)化圖片和視頻

本文由Akamai高級技術(shù)顧問——何明聰在LiveVideoStack線上分享演講內(nèi)容整理而成。在分享中，何明聰老師結(jié)合Akamai圖片和視頻優(yōu)化方案及具體實踐經(jīng)驗，詳細(xì)解析了如何在無需修改源站代碼的前提下，通過自動化的工作流程在CDN邊緣網(wǎng)絡(luò)智能優(yōu)化圖片和視頻。

視覺方案好幾種，我為何更看好雙目視覺

雙目立體視覺是機器視覺的一種重要形式，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機從不同角度同時獲得被測物的兩幅數(shù)字圖像，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，重建物體三維輪廓及位置。雙目立體視覺系統(tǒng)在機器視覺領(lǐng)域有著廣泛的應(yīng)用前景。

“應(yīng)游戲而生”的DLSS或?qū)⒊蔀閂R內(nèi)容的未來

DLSS（深度學(xué)習(xí)超級采樣）是英偉達(dá)開發(fā)的一項AI渲染技術(shù)，目前已有多款PC游戲如《彩虹6號》、《荒野大鏢客》等游戲均支持DLSS技術(shù)讓圖像質(zhì)量得到提升，重新定義了高品質(zhì)游戲視覺體驗。

自動駕駛技術(shù)分級標(biāo)準(zhǔn)微調(diào)，全球競爭格局一夜劇變

大洋兩岸的自動駕駛競速，出現(xiàn)技術(shù)標(biāo)準(zhǔn)層面的新變量。在剛剛更新的自動駕駛?cè)蛲ㄓ肧AE分級標(biāo)準(zhǔn)中，增加了遠(yuǎn)程駕駛相關(guān)定義，并且刪除L4、L5級別中“不需要干預(yù)”的說法。通俗的講，就是熟悉的5G云代駕。這意味著，全球通用的自動駕駛分級標(biāo)準(zhǔn)，首次承認(rèn)了5G云代駕在自動駕駛中的合理地位。

火山引擎召開品牌發(fā)布會，對外開放字節(jié)跳動核心技術(shù)

6月10日，在低調(diào)運行一年后，火山引擎在北京首次召開了品牌發(fā)布會。發(fā)布會上，字節(jié)跳動副總裁、算法與數(shù)據(jù)技術(shù)負(fù)責(zé)人楊震原發(fā)表了題為《字節(jié)跳動的增長沒有秘密》的演講。他在會上表示，中國企業(yè)正在加速向數(shù)字化、智能化轉(zhuǎn)型，字節(jié)跳動基于數(shù)據(jù)驅(qū)動等理念所沉淀的技術(shù)工具和架構(gòu)，有著廣泛的應(yīng)用前景，能夠幫助企業(yè)更好地抓住技術(shù)紅利。此外，開放技術(shù)也能提升科技公司的創(chuàng)新力。

Twitch、Pinterest、Reddit等在Fastly CDN中斷中出現(xiàn)故障

無數(shù)熱門網(wǎng)站，包括 Reddit、Spotify、Twitch、Stack Overflow、GitHub、gov.uk、Hulu、HBO Max、Quora、PayPal、Vimeo、Shopify、Stripe 以及新聞媒體 CNN、衛(wèi)報、紐約時報、BBC 和金融時代目前面臨中斷。據(jù)《金融時報》的一位產(chǎn)品經(jīng)理稱，Fastly是一家受歡迎的 CDN 提供商，被認(rèn)為是故障原因。Fastly 已確認(rèn)其狀態(tài)，網(wǎng)站面臨中斷。

https://techcrunch.com/2021/06/08/numerous-popular-websites-are-facing-an-outage/

谷歌自研芯片，替換數(shù)百萬顆英特爾CPU

Google 設(shè)計了自己的新處理器Argos 視頻（轉(zhuǎn)）編碼單元 (VCU：video (trans)coding units)，他們推出這個芯片的目的只有一個：那就是處理視頻。高效的新芯片使這家技術(shù)巨頭能夠用自己的芯片替換數(shù)百萬個英特爾 CPU。?

閱讀推薦

Even the stars die：MPEG的歷史以及它如何讓數(shù)字媒體成為現(xiàn)實

本書主要講述了運動圖像專家組 (MPEG) 是如何構(gòu)思、建立和引領(lǐng)多媒體生態(tài)的故事。

https://www.amazon.com/dp/B096G6TSF9/

活動推薦

隨著后疫情時代教育全面轉(zhuǎn)向線上、短視頻和影視劇市場需求增加，音視頻平臺對于內(nèi)容保護(hù)的重視更是前所未有。國內(nèi)，5G的加持下，視頻的消費蓬勃發(fā)展，用戶付費習(xí)慣養(yǎng)成，如何增加和保護(hù)收益，成為各視頻平臺和在線教育平臺的關(guān)注熱點。

6月17日19：30，我們邀請到了 愛迪德 亞太區(qū)產(chǎn)品營銷總監(jiān) 施廣 從不同視頻內(nèi)容盜版手段出發(fā)，分享全球反盜版的最佳案例實踐，幫助技術(shù)和管理團隊采取合適的方案，實現(xiàn)視頻內(nèi)容創(chuàng)作、分發(fā)和消費端到端的保護(hù)。

趕快掃描上圖二維碼來報名吧：）

插圖源自Pexels

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 199的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。