学习多媒体开发的正确姿势?陈功:看书 啃代码 搞插件
陳功說,要想學好多媒體開發,首先需要興趣,接下來還需要好的方法。LiveVideoStack郵件采訪了聲網Agora首席WebRTC架構師,暢聊了自己的成長經歷,WebRTC的演進趨勢等。陳功表示,WebRTC的未來值得期待。
策劃 / LiveVideoStack
LiveVideoStack:陳功你好,能否簡要介紹下自己,包括目前的主要工作及關注領域?
陳功:我是聲網Agora的工程師,WebRTC方向的技術負責人。加入聲網之前,在兩家半導體公司Marvel和Intel工作過,從事多媒體,音視頻相關的工作。目前的工作主要在實時音視頻通信,音視頻傳輸質量優化,以及WebRTC協議方面研究,比較關注的領域還包括AI算法在音視頻方向的應用。
LiveVideoStack:從Marvell到Intel,再到聲網,您似乎一直圍繞音視頻技術領域,是哪些內在和外在的因素促成了這一結果呢?
陳功:這個更多的是個人興趣,在研究生階段,我的研究方向是模式識別,涉及到視頻內容分析的研究,當時就對視頻比較感興趣,工作以后接觸到多媒體框架的開發,以及音視頻傳輸和轉碼,覺得在這個領域有很多的方向可以學習研究,比較有趣。我加入聲網,也是因為當時它是全球第一個聚焦高質量實時音視頻的PaaS平臺,在音視頻傳輸質量這塊,通過優化傳輸算法提升QoS,不斷改善實時通信。直到今天,我都覺得這點很有意義,也很有挑戰。
LiveVideoStack:采訪了不少多媒體開發的“大牛人物”,他們大多都是科班出身,在導師的帶領下經過了系統的訓練和研究。而對于沒有這樣經歷的開發者而言,如何能夠快速上手,并不斷做精?對此,您有哪些建議。
陳功:對于開發者來說,最重要的也是要有興趣。多媒體開發涵蓋的內容很廣,音視頻采集,編解碼,傳輸,前后處理,播放等等,每一塊都要有知識儲備。如果要快速上手,建議先找多媒體技術應用的書籍來學習下基礎概念,然后從開源的多媒體框架入手,比如gstreamer/FFmpeg,啃一些代碼,寫一些插件,逐漸熟悉整個多媒體處理流程,并從中找到自己的興趣點,進行深入研究。如果對音視頻傳輸,或者音視頻處理技術有興趣,還可以關注一下WebRTC,分模塊進行學習,比如傳輸相關的模塊,包括帶寬估計,擁塞控制;比如音頻的幾個信號處理模塊,都是具有一定技術高度的實現。
LiveVideoStack:WebRTC 1.0定稿,邁出了非常重要的一步。在此之后,WebRTC還要解決哪些問題,重點的改進方向有哪些?
陳功:歷經6年的長跑,WebRTC 1.0定稿確實是值得慶祝,而Apple的加入,也讓這個定稿顯得更有意義。各個瀏覽器廠商的支持,讓WebRTC有希望在所有平臺和端上鋪開音視頻通信的能力。展望WebRTC 1.0之后的改進路線,還要從認識目前應用中的問題出發。連接建立和可用性一直是WebRTC的痛點,包括ICE的建立時長問題,即便是更新到Trickle ICE,相信WebRTC還會在交互連接建立協議上持續改進;對于SDP的強制支持使得易用性上有所欠缺,在Object RTC協議中已經摒棄了SDP,這可能是一個改進方向。在視頻編碼器的選擇上,需要解決各個端對于H.264/VP8的支持情況不同的問題,這會影響到互通質量,是否會加速AV1的推廣;另外,需要增加更多的視頻支持,包括全景,3D,以及虛擬現實的視頻。
最后,不得不提的是QUIC在WebRTC中的應用前景,從之前的WebRTC工作組會議上的討論來看,將來采用基于QUIC的媒體傳輸也是有可能的。
LiveVideoStack:能否介紹下,您和您的團隊正在(WebRTC)做哪方面的工作?
陳功:WebRTC一直是聲網的戰略方向之一,我們團隊在WebRTC領域主要有幾個方面的工作,首先肯定是質量優化,通過優化WebRTC應用于服務器端的能力,著力提升音視頻傳輸的質量。針對不同的應用場景,進行傳輸策略的調優,包括弱網對抗,碼率平滑等;另外,將我們優質的音視頻通信能力,以WebSDK的形式更易用提供給開發者,適配各種瀏覽器和終端接入體驗;最后我們非常關注WebRTC關鍵模塊的持續改進,持續做研究性的工作。本次WebRTCon上,我也會分享聲網我們團隊在WebRTC上的一些心得和實踐,比如我們服務器端和傳輸能力與WebRTC的深度結合。
LiveVideoStack:盡管WebRTC讓多媒體開發門檻進一步降低,但開源項目必然受到各種牽制,社區不可能為某個特定的場景實現功能、甚至優化。因此,企業不得不在開源的框架下做許多改進、優化,這就導致企業版與社區版fork的情況,將大大增加企業維護分支的成本。您如何看待這種兩難的境地?如何做好平衡呢?
陳功:大型的開源項目不可避免的都會有這樣的問題,同時將WebRTC應用于不同的垂直領域,也是一樣。簡單的說,音視頻通信和直播,就是兩種不同的場景,對于延時,畫質,流暢度等關鍵指標的要求也有差異,這時候就需要針對場景調優。企業在開源項目上的二次開發,比如需要在特定模塊上進行修改,要做好關鍵模塊的差異化管理,定期更新base版本,維護好patch list。當然,WebRTC的模塊化代碼有時候改動很大,比如jitter buffer,比如帶寬估計,企業可以根據自身需要決定更新的周期。WebRTC技術還需要加強服務器端的能力,保證QoS,或者對企業來說,在現階段也可以考慮直接使用做過優化的第三方平臺SDK平臺。
LiveVideoStack:這幾天在西班牙世界通信大會MWC上,5G成為熱點。你如何看5G技術給多媒體生態帶來的紅利?
陳功:5G能給我們帶來什么,確實是當前一段時間討論比較多的話題,低延時,高性能,這些指標如何能影響生態,影響業務模式,都在不斷探討中。我個人基本持理性的樂觀態度,5G會消滅圖文的說法,有些夸張,但是移動視頻內容的推廣肯定會有階段性的飛躍,或者說二次飛躍;用戶會更習慣與隨處可得的,更豐富的視頻內容,像是基于全景,3D視頻的賽事直播,AR/VR的游戲互動,這些內容都有可能出現在移動終端上。
LiveVideoStack:如果讓您選擇幾個關鍵詞來預測2018年多媒體開發生態的熱點,您會選擇哪幾個?
陳功:AI肯定是一個熱點,多媒體與AI的融合有很多的可能性;另外,在多媒體傳輸方面,QUIC會是一個熱點;WebRTC本身也會是。
LiveVideoStack:展望未來,你認為多媒體技術在哪些場景或行業有機會重度使用?
陳功:泛娛樂應用、游戲、教育、直播等已經是廣泛采用的場景和行業。在更傳統金融、安防、企業通信等領域應該也會有更多場景出現。我個人比較樂觀的認為,多媒體技術一定會成為很多行業的標配。
LiveVideoStack Meet 上海
多媒體開發新趨勢?
繼3月31日北京多媒體開發沙龍,LiveVideoStack走進上海,希望通過“多媒體開發新趨勢”系列沙龍,為大家展現新技術在音視頻領域的探索與實踐,以及新興應用場景和傳統行業的最新最佳實踐。
4月21日,我們邀請到了觸寶科技音頻技術專家吳威麒,PP云技術副總監曾小偉,騰訊天天P圖iOS開發組長沈軻軼,優酷VR技術專家盛驍杰,三體云聯產品副總裁崔文秀,相芯科技圖形引擎負責人蔡銳濤6位講師一同分享多媒體開發的技術實踐與未來展望。
我們現場準備了:
大師兄劉歧和趙文杰三年打造,行業內首本《FFmpeg從入門到精通》
展曉凱《音視頻開發進階—以Android和iOS平臺為例》
報名參加沙龍活動就有機會參與抽獎獲得!
點擊 [ 閱讀原文 ] 了解相關活動信息,快來報名吧!
總結
以上是生活随笔為你收集整理的学习多媒体开发的正确姿势?陈功:看书 啃代码 搞插件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 报告显示H.264份额进一步提升 108
- 下一篇: 周正宁:研发最大的挑战是不断否定常规 否