App 用户新体验——Agora Native SDK 3.4.0
聲網Agora Native SDK 3.4.0 本月已正式上線。新版本不僅增加了更豐富的實時美聲音效、屏幕共享、虛擬節拍器等功能,同時在 SDK 的穩定性、兼容性及安全合規上做了大幅度升級,希望為 App 用戶帶來更順暢、舒適的互動新體驗。
3.4.0 版本更新了什么?
功能新增
1、音效文件播放進度
在實時音視頻互動過程中,當我們希望可以更好地烘托氣氛、增添趣味性,通常會選擇播放音效(例如,在游戲中添加打斗聲,在唱歌時添加伴奏等)來進行互動。但有時候如果需在播放音效文件后調整播放位置,只單獨播放一個完整音軌中的某一段或者希望快速跳過某部分音頻內容,3.4.0 版本中提供了控制音效文件的播放進度。具體新增如下方法:
-
playEffect3:通過 startPos參數,在播放音效文件時設置播放位置。
-
setEffectPosition: 在播放音效文件后,設置音效文件的播放位置。
-
getEffectDuration: 獲取本地音效文件的總時長。
-
getEffectCurrentPosition: 獲取音效文件的播放進度。
2、虛擬節拍器
為滿足在線音樂教學等場景對節拍器的需求,3.4.0 版本新增如下方法:
-
startRhythmPlayer: 開啟虛擬節拍器。
-
stopRhythmPlayer: 關閉虛擬節拍器。
-
configRhythmPlayer: 在開啟虛擬節拍器后,重新配置虛擬節拍器。
功能優化
1、弱網下的視頻流暢性與質量平衡
在帶寬受限時,為了保證視頻的流暢性,通常視頻編碼會選擇優先降低視頻幀率維持視頻質量不變或者選擇降低視頻質量保障視頻幀率。但在一對一通話、一對一教學或多人會議的場景中,畫質與流暢性其實都很難割舍。因此,在 3.4.0 版本中我們對此對了優化degradationPreference新增支持設為 AgoraDegradationBalanced,弱網下會降低視頻幀率和視頻質量,以在流暢性和視頻質量之間取得平衡。
2、原始視頻數據(C++)
為方便開發者獲取傳輸各階段的視頻原始數據,滿足更多場景需求,在 3.4.0 之前的版本中我們已經支持 C++ 回調 getRotationApplied 和 getMirrorApplied將原始視頻數據作旋轉、鏡像處理。為提升用戶體驗,新版本將這些回調函數支持處理的視頻數據格式由 RGBA 拓展到 RGBA 和 YUV 420。
3、屏幕共享功能優化
實時互動場景中的屏幕共享是指將屏幕上的內容分享,從而實現信息共享的一種技術。這樣的應用在游戲直播、視頻會議或在線教育場景中都較為常見(文件、數據、網頁、課件、筆記等屏幕共享),用戶可以將自己移動端或 PC 端的屏幕內容共享給他人實時觀看。
新版本的 SDK 目前已支持屏幕區域共享、窗口區域共享、全屏共享、共享前置、窗口最小化回調等功能,同時還支持流暢性有先模式或清晰度優先模式的選擇。在屏幕共享的可用性及體驗感上都做了很大都提升。
4、客戶端錄音
為了便于用戶在錄音時可以更方便、靈活地設置錄音內容,該版本新增startAudioRecordingWithConfig方法,通過startAudioRecordingWithConfig的config參數,用戶可自主選擇設置錄音音質、內容、采樣率及錄音文件的存儲路徑。
同時,該版本還新增了錯誤碼 AgoraErrorCodeAlreadyInRecording(160)。如果在音樂文件播放完成前再次調用 startAudioRecordingWithConfig,SDK 會報告該錯誤碼。
為什么是目前最“優”版本?
Agora Native SDK 3.4.0 是一個功能更豐富、穩定性更高的集大成版本。為了用戶在新版本中擁有更好的體驗。我們從 3.0 SDK 到 3.4 SDK 的過程中做了諸多的優化,在音頻處理、視頻處理、延時優化、安全合規等方面都做了相應的提升。因此,3.4 版本不僅新增和優化了部分功能,同時也保留和優化了之前版本中優秀的功能與特性。
1、3A算法+AI 高效降噪
不管是在視頻面試還是視頻會議場景中,我們都曾遭遇過因為噪音、回聲等,暫時中止雙方的互動,或者重新加入視頻房間的情況。
通過聲網的 3A (AEC、ANC、AGC)算法,可實現智能適應各類環境,全面消除回聲,并提供超一流的雙講表現;可在不損傷語音音質的情況下,有效消除各類噪音;可實現音頻的自動增益,即使在嘈雜環境下用戶也能有很好的實時互動體驗。
同時,聲網 SDK 在降噪模塊的前端預置了信號分類模塊,能夠精確地檢測出信號的類型,并根據信號的類型調整降噪算法的類型及參數,常見的信號類型包括一般語音、清唱、音樂信號等。通過聲網的 AI 降噪算法,利用深度學習技術通過特征提取、神經網絡以及增益調整對實時音頻進行處理抑制噪聲,突破了傳統信號處理方案的性能瓶頸,從而為實時音視頻提供清晰語音環境。可實現良好降噪效果,解決了實現實時人聲和噪聲分離的同時保證人聲保真度的降噪難題。
想要詳細了解此部分內容的小伙伴可參考「詳解低延時高音質:回聲消除與降噪篇」
2、更豐富的美聲音效
實時音效是指為聲音增加某種特定的風格,增強聲音的層次感和空間感。為提高用戶的音頻體驗,我們將傳統專業聲卡、調音師、萬元級線下插件通過軟件算法的方式搬到線上,用戶無需再專門下載插件就可以使用美聲特效、虛擬立體聲、美化音色、自動變聲等聲音特效,在提升用戶體驗和場景娛樂性的同時極大的降低了使用門檻。
目前已實現 3種語聊美聲、6種歌唱美聲、8種音色變換、18種人聲音效、7種變聲音效、4種基礎變聲效果。
Demo試聽:https://www.agora.io/cn/audio-demo想了解實時美聲的原理,可閱讀我們往期的分享。接口具體使用方法,可以訪問聲網文檔中心,搜索并查看高階指南「變聲與混響」。
3、美顏優化-兼具“自然”與“美”
在社交娛樂或教育場景中,用戶進行視頻通話或直播時,常常希望向對方呈現良好的狀態和精神面貌。通過聚焦人像皮膚、頭發和背景等區域,幫助開發者輕松實現更真實、更“自然”的美白和紅潤效果,開發者們還可以通過調整參數來自定義美顏效果。
即便在極端暗光條件下,通過應用聲網自研暗光增強算法,可自適應調整光照過暗區域的亮度值,恢復和凸顯圖像的細節信息,提升視頻圖像的視覺效果,讓視頻畫面擁有更自然的優質畫質。此功能適用于整體亮度偏低、背光、陰天、光照不均勻等場景。暗光增強目前支持 iOS 平臺,在使用效果和設備性能間做好平衡調優,可在 iPhone 6s 機型及以上支持 720P@30fps 的實時處理。
4、80%抗丟包能力,SDK 崩潰率「萬分之一」
在實時數據傳輸質量的優化上,基于聲網 SD-RTN? 的傳輸,在包到達率上,SD-RTN? 與專線已無差別,jitter 200ms 的到達率為 99.9%。穩定性已達到專線水平。
同時,針對實時語音互動中可能出現的弱網傳輸、丟包等情況,聲網Agora 擁有一套專業的抗弱網傳輸與抗丟包算法。在 SDK 迭代的過程中,我們也不斷地對其背后的抗弱網指標進行著優化,目前視頻的抗弱網邊界已經從原來的 60% 提升至 70%,音頻則已經提升至 80%,在這樣的弱網環境下,仍可以保證音頻、視頻的流暢體驗。同時,根據美洲,亞洲,東南亞,中東等地區用戶提供的數據顯示,SDK 首幀出圖、出聲時間也得到了全面的優化,客戶閉環驗證結果與實驗室測試結果完全吻合。
5、安全合規
聲網遵循國際認可的信息安全和隱私保護標準以及行業要求,致力于采用國際最佳實踐來建設隱私和安全管理體系。目前聲網已經通過 ISO/IEC 27001、ISO/IEC ISO27017、ISO/IEC 27018 體系認證,并獲得了由第三方專業機構出具的SOC2 Type I服務鑒證報告,以此證明自身的隱私合規和安全管理能力。
關于此次新版本的更多特性與新增功能可能無法在此次的介紹中一一贅述,點擊【此處】在線獲取更多 SDK 相關資訊。
總結
以上是生活随笔為你收集整理的App 用户新体验——Agora Native SDK 3.4.0的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ADS-B接收机Radarcape支持多
- 下一篇: 如何查看邮件服务器名称,如何查找Exch