音视频技术开发周刊 | 140
每周一期,縱覽音視頻技術領域的干貨和新聞投稿:contribute@livevideostack.com。
架構
?
為什么您的視頻會議系統不互相集成
主要是因為當大多數公司希望成為 SaaS 或者云供應商時,以至于沒有動力去實現。
https://www.theverge.com/2020/4/1/21202945/zoom-alternative-conference-video-free-app-skype-slack-hangouts-jitsi
?
到目前為止,Zoom 安全和隱私缺陷和問題,以及您可以采取哪些措施保護自己
即使在這種情況下,可以確信所有視頻會議供應商都希望 Zoom 的股價不要跌的太多。
https://tidbits.com/2020/04/03/every-zoom-security-and-privacy-flaw-so-far-and-what-you-can-do-to-protect-yourself/
?
如何在 Ubuntu 18.04 中使用 coturn 并創建和配置 STUN/TURN服務器
強力推薦閱讀一下。
https://ourcodeworld.com/articles/read/1175/how-to-create-and-configure-your-own-stun-turn-server-with-coturn-in-ubuntu-18-04
?
您的視頻通話是否具有端到端加密?可能不會
SFU 端到端的加密以及 WebRTC 中的位置。
https://webrtchacks.com/you-dont-have-end-to-end-encryption-e2ee/
活動推薦
【線上分享】如何搭建低延時、交互式的在線教育平臺?
伴隨學校“停課不停學”,在線教育迎來了新的一輪快速增長。如何破局線上,搭建低延時、交互式在線教育平臺,還原線下教學體驗?4月19日(周日)晚19:30,我們邀請到騰訊互動課堂技術負責人繆少豪詳細介紹騰訊云在線教育互動課堂方案的設計與技術挑戰,重點剖析互動白板實現的技術難點與突破。
掃描下圖二維碼立即報名
【開發福利】TRTC-實時音視頻互動場景開發挑戰賽,贏取豐厚福利
伴隨直播、遠程辦公、網絡教學需求的不斷提升,實時音視頻技術被廣泛應用,如何保證產品的高并發、高可用、高性能也成為關鍵課題。騰訊實時音視頻(TRTC)以多人音視頻通話和低延時互動直播兩大場景化方案,為開發者提供可快速搭建的低成本、低延時、高品質的互動課堂解決方案。
4月13日,騰訊云啟動TRTC SDK開發應用大賽,將這些能力開放出來,并提供免費資源給合作伙伴進行實時應用場景的開發,更有超多開發福利等著你。
【訪問鏈接立即報名】
https://cloud.tencent.com/act/event/TRTC-SDK-Competition
傳輸網絡
Electron 低延遲視頻流播放方案探索
這篇文章也跟我們正在開發的 Electron 客戶端有一定關系。最近我們正在預研在 Electron 頁面中實時播放會議視頻流的方案。
https://juejin.im/post/5e8e714f6fb9a03c832b089c
使用 Matrix 和 Jitsi 運行自己的安全通信服務
如何向 Matrix 添加視頻。
https://matrix.org/blog/2020/04/06/running-your-own-secure-communication-service-with-matrix-and-jitsi
編解碼
基于云的編碼如何提高視頻流質量
演講者介紹了不同分辨率下的各種編解碼器(即AVC、HEVC、AV1和VVC),并比較它們的編碼復雜性。此外,還介紹了基于本地服務器的實時編碼的局限性,并介紹了如何采用云計算的方式解決這些問題。演講還詳細探討了基于云計算編碼的各種優勢,包括運營商如何通過云計算更彈性地提供服務,即能快速開啟和關閉服務,且能在遇到僅持續幾天的大型體育賽事或新聞報道時能擴容。
https://mp.weixin.qq.com/s/wfFasbT3H462hMD-Kwbx7A
H265 / HEVC,硬件加速,在 #Webrtc 完成的差不多
我想知道這項投入對蘋果或英特爾的長期優勢是什么?
http://webrtcbydralex.com/index.php/2020/04/03/h265-hevc-hardware-accelerated-in-webrtc-done-well-almost/
速度失真優化:開源HEVC編碼的權衡
演講主要目的是展示如何優化在本地或公共云中的商品硬件上運行的開源分布式編碼系統的吞吐量。這將使用流行的開源x265視頻編碼器完成。它在商業云編碼實現中無處不在,通常與ffmpeg結合使用。它是一種通用的編碼器,它允許用戶以非常精細的粒度控制各個方面,例如使用HEVC編碼工具,速率失真優化(RDO),感知質量,指令集擴展和并發性。它還通過其日志記錄系統輸出大量內部信息。這種詳細程度與源代碼的可用性相結合,使我們能夠在質量和代碼路徑級別上進行詳細的權衡分析。
https://mp.weixin.qq.com/s/pKKhl0CMt29NbG2_i3dl0g
MPEG-5 EVC
演講開始時Jonatan介紹了視頻編碼的背景,視頻消費在全球范圍內不斷增加,改進的壓縮效果可降低成本并提高質量,而從2003年開始,當今大多數視頻服務都使用AVC / H.264,但是是否存在更好的替代品呢?
https://mp.weixin.qq.com/s/lAWHrPKDHdQrj6WApRL9lw
視頻技術
我們必須將神經網絡壓縮 30倍 才能在 Chrome 中運行
充分利用 WebAssembly 來提高瀏覽器中 WebRTC 的音頻質量。
https://krisp.ai/blog/how-we-shrunk-dnn-to-run-inside-chrome/
新的 RingCentral 視頻會議解決方案使接入速度更快,協作更輕松
RingCentral 用他們自己的基于 WebRTC 實現的視頻會議服務代替 Zoom。
https://www.ringcentral.com/blog/new-ringcentral-video-meetings-solution-makes-it-faster-to-join-easier-to-collaborate/
AI智能
使用 WaveNetEQ AI 提高 Duo 應用中的音頻質量 (Google AI Blog)
Google 使用機器學習實現丟包隱藏。這不是 WebRTC 的事情,而是標志著公司需要投入資源的方向。
https://ai.googleblog.com/2020/04/improving-audio-quality-in-duo-with.html
圖像
借助 Intel OWT 加速 WebRTC 媒體服務器中的計算機視覺
Intel OWT + OpenCV + GStreamer
https://webrtchacks.com/accelerated-computer-vision-inside-a-webrtc-media-server-with-intel-owt/
avatarify
avatarify 項目也是一位國外開發者發布在 GitHub 上的開源項目,可以為 Zoom、Skype 這類視頻通話應用添加自己的替身,項目中使用的核心模型 first order model 來源于一篇 NIPS 論文《First Order Motion Model for Image Animation》。
https://github.com/alievk/avatarify
資源推薦
基于Netty實現服務端與客戶端通信
本文介紹基于Netty實現的服務端與客戶端通信的簡單使用方法,并在此基礎上實現一個簡單的服務端-客戶端指令通信的Demo。
http://www.milovetingting.cn/2020/04/12/Android/%E5%9F%BA%E4%BA%8ENetty%E5%AE%9E%E7%8E%B0%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8E%E5%AE%A2%E6%88%B7%E7%AB%AF%E9%80%9A%E4%BF%A1/
點擊“閱讀原文”可查看更多詳細信息,請大家科學上網。
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 140的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TRTC助力高并发、高可用实时音视频互动
- 下一篇: 微软为NBA提供云计算服务、Google