音视频技术开发周刊 | 152
每周一期,縱覽音視頻技術領域的干貨和新聞投稿:contribute@livevideostack.com。
內容推薦
美攝云非編系統——網頁端實時編輯渲染方案
美攝云非編是一款新型網頁端非線性編輯工具,應用WebAssembly技術實現網頁端直接渲染圖像。本次LiveVideoStackCon 2020線上峰會我們邀請到了北京美攝網絡科技有限公司的研發總監黃裔來做分享,對網頁端編輯、WebAssembly技術有興趣的聽眾可以從中了解到整個架構的搭建、技術實施、注意事項以及一些常見問題的處理等。
https://mp.weixin.qq.com/s/BtFSK9X0CetIqISFfoq6xw
網易云信流媒體服務端架構設計與實現
實時音視頻通話作為高效便捷的溝通手段在許多場景下得到應用。隨著5G商用元年的真正到來,實時音視頻通話將會得到更加蓬勃的發展。本次LiveVideoStackCon 2020線上峰會我們邀請到了網易云信資深音視頻服務端開發工程師魯林俊,他將結合網易云信流媒體服務搭建的實戰經驗,進行一些深入的分享。
https://mp.weixin.qq.com/s/u8srSTw_uoI4k2PD6lRxjQ
架構
WebRTC 瀏覽器和移動設備上的支持情況
點擊了解詳情。
https://bloggeek.me/webrtc-browser-support/
傳輸網絡
TCP協議相關知識點(流量/擁塞控制)
傳輸控制協議 (TCP,Transimission Control Protocol):特點是面向連接、可靠性、面向字節流。
https://juejin.im/post/5efc15f0e51d4534bb1495e6#heading-15
實時低延遲流式傳輸
實時流媒體的低延遲是指事件內容在媒體交付鏈的一端被捕獲并在另一端向用戶播放之間的時間延遲。考慮一個在足球比賽中進球的進球:實時等待時間是指從進球打入并由攝像機捕獲到觀看者在自己的設備上看到該進球之間的時間延遲。
https://mp.weixin.qq.com/s/PveJbv7f3uIWO-5Fn4YDrA
編解碼
【重磅】AVS3開源編碼器速度再翻倍
AVS3開源編碼器項目“天樞”(uAVS3e)不斷迭代,自3月份以來又迭代了70余次。AVS互聯網生態推進組測試小組近日對最新版本的AVS3開源編碼器uAVS3e進行了性能評測,測試結果表明:相比于2020年3月份的版本,uAVS3e編碼速度接近翻倍,相比于AVS3標準參考軟件(HPM4.0)速度快近50倍,同時綜合編碼效率提升近5%。
https://mp.weixin.qq.com/s/xWQK1iy0pufmz1L1qXGfmg
FFmpeg獲取視頻首幀轉封面圖Bitmap
本博客主要是使用ffmpeg獲取本地視頻文件的第一幀數據轉換為Bitmap,然后拋給上層ImageView顯示。
https://juejin.im/post/5f02ec8b6fb9a07e753c8a03
音視頻前沿:新一代 AV1 視頻標準究竟是怎樣一種存在?
AV1是開放媒體聯盟Alliance for Open Media (AOM) 開發的第一代視頻編碼標準,自推出以來獲得了產業界巨大關注和支持。騰訊多媒體實驗室也加入進來和其他公司團隊一同積極推動AV1編碼器的優化和落地,為客戶提供高性能和高效率的云端編碼服務。
https://mp.weixin.qq.com/s/TmnKY78ZQbvfQeBqdDv-qQ
內容感知編碼可能是8K交付的關鍵
本文來自the broadcast bridge,由AMGMedia的Michael Grotticelli編輯,文章主要內容是“內容感知編碼可能是成本效益高的8K交付的關鍵”。
https://mp.weixin.qq.com/s/neYUAmSHzsxykJgedhIkVw
音視頻技術
Open WebRTC Toolkit實時視頻分析系統
隨著物聯網技術的發展,實時視頻分析技術已應用于智能物聯網的各個領域。英特爾基于與GStreamer以及OpenVINO構建了整套實時視頻分析方案,為用戶提供更加靈活、便捷的實時視頻分析服務。本文由英特爾高級軟件工程師 吳秋嬌在LiveVideoStack線上分享內容整理而成。
https://mp.weixin.qq.com/s/2W6sEZN4xTnYAANAl3eRsA
你有沒有想過,錄屏軟件是怎么獲取到屏幕內容的?
前段時間 Android R 發布了 Beta 版本,同時帶來原生用戶心心念念的功能——錄屏,雖然這個功能在別的 Android 定制 ROM,像 MIUI,在好幾年前已經就有了。是錄屏這個功能是很難實現嗎?為什么谷歌遲遲不肯在 Android 上這個功能呢?
https://mp.weixin.qq.com/s/HM41Ep__3PCObiElb9MZFQ
在 Javascript 中使用綠屏和 Vonage 視頻
創建Vonage Video發布者時,可以直接從用戶攝像機,<video>元素或HTML <canvas>元素中獲取流。一旦像素被繪制到畫布上,就可以在將其用于Video API會話之前輕松對其進行操作。在本教程中,您將學習如何刪除綠屏并將其替換為可包含在視頻通話中的新的自定義圖像。
https://www.nexmo.com/blog/2020/06/24/use-a-green-screen-in-javascript-with-vonage-video
使用 Jitsi 的 getDisplayMedia 進行本地音頻錄制
本文很好地概述了 getDisplayMedia 和 MediaRecorder。
https://webrtchacks.com/jitsi-recording-getdisplaymedia-audio/
AI智能
通過人工智能技術還原《隱秘的角落》被修改的臺詞
前兩天,我一口氣看完了電視劇《隱秘的角落》,劇情相當精彩。美中不足的是,劇組為了讓片子過審, 導致11集,12集的剪輯順序被打亂,甚至臺詞被修改,以至于片中有幾個處演員口型與臺詞對不上,劇情也有點讓人摸不到頭腦。因此我嘗試通過人工智能技術還原了被修改的臺詞,從而還原了一部分原本的劇情,一個更加黑暗的真相。
https://juejin.im/post/5f0284d05188252e703ab888
情感語音合成技術難點突破與未來展望
語音技術的進步,讓機器合成的聲音不再頓挫、冰冷,在自然度和可懂度等方面取得了不錯的成績,但當前合成效果在合成音的表現力上,特別是語氣和情感方面,還存在不足。聲音如果缺少情感,何談表現力 ,又如何能提高用戶交互的意愿?
https://mp.weixin.qq.com/s/26eySnJMECT_g3fvPMD2VQ
未來社會臨場感中的計算機視覺
本文來自Fourth Workshop on ComputerVision for AR/VR 2020的一篇演講,演講者是來自Facebook Reality Labs的科學家Michael Abrash。他主要介紹了AR/VR趨勢的必然性,以及其中必不可少的CV技術。
https://mp.weixin.qq.com/s/pmdcHShXlEQV7E7-DVRHtg
圖像
Google Pixel 相機解密(3) 基于人像的局部畸變矯正
使用手機拍攝時我們都會注意到一個問題就是越近的物體或者越靠近邊緣的物體就會被拉伸的很大,這個現象在廣角攝像頭上更為嚴重,例如下面兩個圖像,因此廣角鏡的拓展形變的效果經常被攝影師利用,創作一些具有戲劇張力的作品:
https://mp.weixin.qq.com/s/SVD_badekd89fN8i5XNZcw
資源推薦
ShuffleNet V1
神經網絡的精度越來越高,而推理性能也在逐漸變慢,在實際應用中不得不在性能與準確率間進行折中。為此,論文對小網絡的耗時進行分析,提出了ShuffleNet。論文首先介紹了ShuffleNet的核心操作Channel Shuffle以及Group Convolutions,然后再介紹Shuffle unit的結構,最后介紹ShuffleNet的架構。
https://juejin.im/post/5f028ca15188252e654414e9
自制抖音短視頻國際版Tik Tok源碼
https://github.com/18380438200/Tiktok
它來了!它來了!數十家技術社區聯名推薦的 GeekOnline 正式上線了!
由通信云技術領導者融云推出的開發者社區 GeekOnline 正式與全球極客們見面啦!崇尚科技、自由和創造力的極客精神,GeekOnline 致力于成為一個創意與價值兼備、興趣和溫度并存的技術社區。
https://www.livevideostack.cn/news/geekonline
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 152的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【LiveVideoStack线上分享】
- 下一篇: TikTok面临用户流失、苹果iOS14