『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團隊出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點擊『閱讀原文』，瀏覽第83期內(nèi)容，祝您閱讀愉快。

架構(gòu)

基于視頻流傳輸 — 在線教育白板技術(shù)

在線教育不同于線下教育， 內(nèi)容需要經(jīng)過電子白板展現(xiàn)給用戶，如何做出優(yōu)秀的在線教育白板成為研究的重點。本文來自學(xué)而思網(wǎng)校客戶端架構(gòu)負責人趙文杰在LiveVideoStackCon 2018大會上的分享，并由LiveVideoStack整理而成。

基于WebRTC的互動直播實踐

互動直播已經(jīng)逐漸成為直播的主要形式。映客直播資深音視頻工程師葉峰峰在LiveVideoStackCon 2018大會的演講中詳細介紹了INKE自研連麥整體設(shè)計思路、如何基于WebRTC搭建互動直播SDK以及針對用戶體驗進行優(yōu)化。本文由LiveVideoStack整理而成。

熊謝剛：AI和5G讓容聯(lián)·云通訊彎道超車

經(jīng)過5年多的發(fā)展，容聯(lián)·云通訊已經(jīng)從通訊PaaS服務(wù)，演變成為融合通信運營商與互聯(lián)網(wǎng)音視頻能力的通訊云平臺。未來，容聯(lián)·云通訊還要在5G、AI和物聯(lián)網(wǎng)方面突破。日前，LiveVideoStack對容聯(lián)·云通訊CPO熊謝剛進行了專訪，暢談了多媒體云服務(wù)的未來。

LinkedIn：用數(shù)據(jù)提高視頻性能

LinkedIn通過在視頻播放過程中收集的大量數(shù)據(jù)，對多種視頻指標進行實驗以提高視頻性能，改善用戶體驗。本文來自LinkedIn工程博客，LiveVideoStack對文章進行了翻譯。

QUIC的那些事 | 幀類型及格式

QUIC的幀包是基于幀的。幀有1個字節(jié)的幀類型字段，類型字段后是與類型相關(guān)的幀頭信息。所有的幀都被包含在單個的QUIC包中，沒有幀可以跨越QUIC包的邊界。

移動端IM/推送系統(tǒng)的協(xié)議選型：UDP還是TCP？

從PC時代的IM開始，IM開發(fā)者就在為數(shù)據(jù)傳輸協(xié)議的選型爭論不休（比如：《為什么QQ用的是UDP協(xié)議而不是TCP協(xié)議？》這樣的問題，隔一段時間就能在社區(qū)里看到）。到了移動互聯(lián)網(wǎng)時代，鑒于移動網(wǎng)絡(luò)的不可靠性等特點，再加上手機的省電策略、流量壓縮等，為這個問題的回答增了更多的不確定因素。

音頻/視頻技術(shù)

安卓音視頻播放-總體架構(gòu)

安卓上我們經(jīng)常會使用MediaPlayer這個類去播放音頻和視頻,這篇筆記便從MediaPlayer著手,一層層分析安卓的音視頻播放框架。

Stanford CS224n 第十二講：語音處理的端對端模型

本文是對端到端的語音處理方法的概述，主要內(nèi)容包括 1.傳統(tǒng)的語音識別系統(tǒng)；2. 使用端到端（end-to-end）系統(tǒng)的原因；3. Connectionist Temporal Classification（CTC）；4. Listen Attend and Spell（LAS）；5. LAS的一些改進方法...

自適應(yīng)流媒體傳輸（五）——正確認識碼率切換

在這篇文章中，我們來探討幾個問題：什么時候需要進行碼率切換，碼率切換的幅度應(yīng)該怎么設(shè)計，以及碼率切換會對觀眾的感知有什么影響。相信大家看完之后會對碼率切換有一個更加正確的認識。

利用MediaMuxer從視頻中提取視頻音頻文件和合并視頻，音頻文件

前面利用MediaExtractor提取的AAC和H264文件不經(jīng)過處理沒辦法播放，這次利用MediaExtractor和MediaMuxer配合提取合并生成可以播放的文件，PS：AAC文件和.H264需要首先利用MediaMuxer生成MP4文件，才能進行合并。

編解碼

Android音視頻學(xué)習： MediaCodec 硬編解碼

MediaCodec 是做硬件（GPU，充分利用GPU 的并行處理能力）編解碼的。（通常結(jié)合 MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface、AudioTrack 使用）

FFmpeg視頻解碼,保存原始YUV數(shù)據(jù)(使用最新FFmpeg4.1)

本文基于FFmpeg4.1，FFmpeg視頻解碼,保存原始YUV數(shù)據(jù)，沒有使用任何棄用的API。

自適應(yīng)流媒體傳輸（四）——深入理解MPD

在這篇文章中，我們從更細節(jié)的角度，深入來看一下DASH系統(tǒng)中的MPD結(jié)構(gòu)。

AI智能

6D目標姿態(tài)估計，李飛飛夫婦等提出DenseFusion

根據(jù) RGB-D 圖像進行 6D 目標姿態(tài)估計的一個主要技術(shù)挑戰(zhàn)是如何充分利用兩個互補數(shù)據(jù)源——顏色和深度。為此，李飛飛夫婦等研究者提出了 DenseFusion——一種可單獨處理兩個數(shù)據(jù)源的異質(zhì)架構(gòu)。

Mars 算法實踐——人臉識別

Mars 是一個基于矩陣的統(tǒng)一分布式計算框架，在之前的文章中已經(jīng)介紹了 Mars 是什么， 以及 Mars 分布式執(zhí)行 ，而且 Mars 已經(jīng)在 GitHub 中開源。當你看完 Mars 的介紹可能會問它能做什么，這幾乎取決于你想做什么，因為 Mars 作為底層運算庫，實現(xiàn)了 numpy 70% 的常用接口。這篇文章將會介紹如何使用 Mars 完成你想做的事情。

一文帶你讀懂 WaveNet：谷歌助手的聲音合成器

機器合成擬人化語音（文語轉(zhuǎn)換）的想法已經(jīng)存在很長時間了。在深度學(xué)習出現(xiàn)之前，存在兩種主流的建立語音合成系統(tǒng)的方式，即波音拼接合成和參數(shù)合成。

FaceBoxes—官方開源CPU實時高精度人臉檢測器

FaceBoxes是中科院自動化所在IJCB2017上提出的面向CPU實時的高精度人臉檢測算法，論文中指出其比大家所熟知的MTCNN在速度和精度上都更優(yōu)秀。

圖像

曠視等提出GIF2Video：首個深度學(xué)習GIF質(zhì)量提升方法

本文提出了 GIF2Video，首個基于深度學(xué)習提升自然場景下 GIF 成像質(zhì)量的方法，其主要任務(wù)有兩個：顏色反量化和幀插值。針對第一個任務(wù)，本文給出一個組合性網(wǎng)絡(luò)架構(gòu) CCDNet，并通過綜合損失函數(shù)訓(xùn)練它，顏色反量化被嵌入于 CCDNet 以指導(dǎo)網(wǎng)絡(luò)學(xué)習和推理。對于第二個任務(wù)，本文采用 SuperSlomo 進行變長多幀插值以提升輸入 GIF 的時序分辨率。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 83期的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。