除了超分辨率,AI 结合 RTC 还有哪些技术实践?
一說到 AI+RTC(Real-time Communication),大家第一個想起的可能就是超分辨率,它也是 CVPR 中備受關注的賽題之一。不過,它只是 AI 的應用場景之一。
2019 年 10 月 24 日 - 25 日,聲網 Agora、極客邦科技、RTC 開發者社區、CSDN 將在北京聯合舉辦第五屆 RTC 實時互聯網大會。本屆大會邀請到了來自微軟小冰、搜狗語音交互技術中心、依圖科技、Hulu、數美科技等公司的一線技術、研發負責人,分享與語音交互、智能感知系統、NLP、聲紋識別、視頻內容檢索與推薦、編解碼優化等相關的研究成果與實踐經驗。
而且,這場技術大會的門票正在限時免費中,點擊「閱讀原文」即可申請!
在這里,我們先劇透一些演講議題:?
Topic:微軟小冰實時感官系統與未來發展趨勢
Speaker:劉成城 微軟小冰研發總監
微軟小冰是微軟(亞洲)互聯網工程院研發的人工智能機器人。微軟小冰實時感官系統是微軟小冰的線下實時交互平臺,她具有多種實時識別和動態捕捉的能力,并可以用戶進行實時交互。本次演講將會對實時感官系統全方位深度剖析,并以之為例介紹實時感官系統的構成與應用,引領聽眾探索其未來發展趨勢。
Topic:基于內容的視頻推薦和實踐
Speaker:謝曉輝 Hulu首席研發經理
視頻網站面臨的技術挑戰之一是如何對視頻做精準的用戶分發,理解用戶、環境和視頻內容是解決問題的核心和關鍵。以頭部視頻為主的視頻網站由于用戶選擇成本更高、消費行為稀疏、復雜而且感性,因此對視頻進行精確、細致與豐富的理解和刻畫顯得更為重要。相比傳統的基于用戶行為的推薦系統,如何借助于視頻內容理解來優化個性化推薦和內容發現呢?本次演講內容將重點分享Hulu在這一方面的探索和實踐經驗,內容包括視頻理解在內容冷啟動、視頻精細化標簽和分組、深度推薦模型中的應用等等。
Topic:Deep Learning based Super Resolution for mobile RTC
Speaker:周世付 聲網Agora AI 算法工程師
近幾年,超分辨率技術一直是計算機視覺領域的一個熱門話題,其應用前景廣泛,比如RTC。然后,超分辨率技術在移動端落地的過程中,面臨著模型過大、運算復雜、設備發熱過大的問題。本次演講內容將重點分享超分辨技術在移動端落地的探索和實踐經驗,內容包括對抗神經網絡、模型剪枝壓縮等。
Topic:基于深度學習實時直播內容風控
Speaker:關濤 數美研發中心總經理
隨著互聯網高速發展,直播場景日益豐富,違規音頻視頻圖片已經泛濫成災;同時國家內容監管日益趨嚴,監管政策集中出臺,行政處罰愈發嚴格,實時內容風控日益重要,傳統的人工方式也已經無法滿足實時風控的需求,時代呼喚新的解決方案。數美基于深度學習技術,提出全棧式AI實時直播內容風控的解決方案,包括LSTM、RNN、CNN、GAN等深度學習模型,有效識別直播視頻涉政、暴恐、涉黃等違規內容,保證內容合規,凈化了網絡環境。
同時,還將有嘉賓分享基于 AI 優化的實時音頻體驗、通過 AI 優化音視頻數據的實時傳輸等話題。
除了 AI 相關演講以外,本屆大會還設立多個技術專場以及 WebRTC 工作坊,大會日程如下:?
?參加大會你將收獲……
一線團隊的實踐經驗與最新技術趨勢
提及 RTC 技術,大多數人首先想到的就是 WebRTC、音視頻編解碼。不過 RTC 技術還涉及 QoE、實時網絡傳輸,而且正在與 AI、跨平臺技術,甚至是 5G 碰撞出更多火花。
今年的內容主題涉及多項熱門技術,包括?WebRTC、實時視頻超分辨率算法、編解碼技術標準、深度學習與音頻優化、QoE、高并發網絡架構、5G、實時感官系統、Flutter、ABR 算法、MPEG-DASH?等。有些話題是音視頻工程師們應該關注的新趨勢,也有些實踐經驗是可被大多數架構師與應用工程師拿來參考的。所以你將可能會聽到 WebRTC 與深度學習 CV 算法的結合、基于 AI 優化的 AV1 編解碼、VVC 編解碼技術標準的未來、5G 網絡下的視頻體驗優化、基于深度學習的實時直播內容風控、高并發實時信令以及在教育場景的應用,以及更多前沿的技術經驗。與全球一線團隊的技術專家面對面
今年我們已經邀請到了來自 W3C、搜狗、微軟小冰、VVC編解碼標準組、字節跳動、Hulu、滬江 CCTalk、Bilibili、閑魚、聲網、Janus開源項目、AVS編解碼標準組、上海交大等公司、組織機構的一線技術專家,有首席科學家、資深架構師、資深工程師,也有研究員,各位演講人都總結過去一年中實際研發經驗,告訴你哪里有坑,哪些技術、框架值得嘗試,又有哪些實現邏輯。
1024 來交個朋友
1024 不僅僅是 RTC 大會的第一天,也是程序員的節日。這一天,又怎么能少了屬于程序員的 After Party 呢?
在大會上完成一天的“充電”之后,我們將帶著童心未泯的小伙伴們,一起玩耍!?
往屆 RTC 實時互聯網大會
在往年的大會上,我們從傳播 WebRTC 與實時傳輸架構,到現在分享 RTC 與更多技術的融合,以及在更多場景下的應用探索。我們希望今年能讓更多開發者了解、學習和體驗到 RTC 技術的魅力。?
往年大會現場
?
?RTC 2019 大會門票限時免費中,趕快報名吧!
Tips現在申請限時免費門票,還可獲得150元的Workshop代金券哦~用劵之后,只需38元即可報名Workshop,不過席位有限,趕緊行動吧!總結
以上是生活随笔為你收集整理的除了超分辨率,AI 结合 RTC 还有哪些技术实践?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: IJCAI 2019 论文解读 | 基于
- 下一篇: 小马智行Pony.ai 2020校招宣讲