看阿里云如何为直播用户营造临场沉浸感?
摘要: 2016年可以說是VR元年,從Facebook的Oculus,HTC的Vive到Sony的PS VR,層出不窮的VR設(shè)備和VR內(nèi)容讓用戶逐步開始體驗(yàn)到了虛擬現(xiàn)實(shí)的魅力。VR視頻和VR直播儼然已經(jīng)成為了展覽會議、活動賽事的標(biāo)配,甚至向婚慶、新聞、影視行業(yè)延伸。
原文地址:http://click.aliyun.com/m/43781/
2016年可以說是VR元年,從Facebook的Oculus,HTC的Vive到Sony的PS VR,層出不窮的VR設(shè)備和VR內(nèi)容讓用戶逐步開始體驗(yàn)到了虛擬現(xiàn)實(shí)的魅力。VR視頻和VR直播儼然已經(jīng)成為了展覽會議、活動賽事的標(biāo)配,甚至向婚慶、新聞、影視行業(yè)延伸。那么VR直播的實(shí)現(xiàn)挑戰(zhàn)、關(guān)鍵技術(shù)、解決方案和應(yīng)用場景都是什么呢?本文將為大家逐一展開。
VR直播為什么被看好
通常我們看到的活動、新聞現(xiàn)場VR直播,最大的特點(diǎn)是全景觀感和交互性強(qiáng)。VR直播采用專業(yè)的拍攝設(shè)備覆蓋用戶整個360度的視野,捕捉到的每一幀畫面都是一個360度的全景,觀眾可以選擇上下左右任意的角度來觀看,沒有限制地觀察三維立體空間內(nèi)的事物,體驗(yàn)全景帶來的逼真和沉浸感。
同時,VR直播具有直播實(shí)時性、互動性的特點(diǎn),結(jié)合VR的技術(shù)手段,從視覺、聽覺、嗅覺等感官系統(tǒng)出發(fā),營造一個完整的虛擬環(huán)境,讓觀眾與空間、主播、甚至其他觀眾產(chǎn)生互動。以上兩大特點(diǎn)讓VR直播在直播模式中脫穎而出,成為了炙手可熱的、用來吸引用戶的新玩法。
預(yù)計在未來幾年,隨著技術(shù)積累和環(huán)境逐漸成熟,VR直播將逐漸迎來爆發(fā)。它將不僅會在演唱會、賽事、活動等場景中被越來越大規(guī)模地應(yīng)用,也會逐漸走進(jìn)新聞廣電、游戲、教育、醫(yī)療等領(lǐng)域,服務(wù)于各場景下的沉浸式體驗(yàn)。
那么,如果你擁有適合的內(nèi)容,你又該如何開展VR直播呢?
VR直播面臨的挑戰(zhàn)
任何的直播,觀眾都希望是清晰和真實(shí)的。VR直播中因?yàn)橛脩趔w驗(yàn)到的包裹著用戶所有視野的VR視頻是一個球形的視頻,而實(shí)際上在源端轉(zhuǎn)碼并且傳輸?shù)浇K端設(shè)備的是這個球形的二維展開。所以即使是VR視頻都號稱特別高的分辨率,但是用戶的體驗(yàn)仍然不理想。如果要讓用戶體驗(yàn)到超1080p的虛擬現(xiàn)實(shí)體驗(yàn),我們需要的VR視頻源的分辨率就要達(dá)到8K甚至更高,因?yàn)?D的虛擬現(xiàn)實(shí)還是離真實(shí)的感覺差太遠(yuǎn)。理想情況下,我們需要8K/3D才能使得用戶真正的沉浸于虛擬現(xiàn)實(shí)之中,而這就需要50Mbps-100Mbps的帶寬。
VR球形視頻及其Equirectangular平面展開
直播通常是在全國、甚至全球觀眾面前播放,而普通用戶家里穩(wěn)定的下載速度一般只有10-20 Mbps左右,更大的碼率就不能保證家庭網(wǎng)絡(luò)能穩(wěn)定接收了。所以一般的VR視頻會強(qiáng)行把碼率壓到3-10Mbps左右范圍,犧牲清晰度,以保證用戶穩(wěn)定接收。所以,帶寬問題成為了已經(jīng)成為了VR實(shí)際播放效果不好最大的瓶頸。
假設(shè)這個限制因素得已解決,相對普通直播,VR直播也是對CDN的節(jié)點(diǎn)覆蓋度、帶寬儲備、穩(wěn)定性的要求更高的。自建CDN和小型第三方CDN廠商都無法滿足高效分發(fā)的需求。而且,直播場景下的帶寬費(fèi)用也是相對比較高昂的,這都是平臺方需要考慮的問題。
另外,VR直播也對轉(zhuǎn)碼的實(shí)時性、終端解碼性能等有很高的要求。鑒于其交互形式復(fù)雜,涉及到專業(yè)設(shè)備,還會存在比如市面上主流頭顯、移動設(shè)備的適配等問題。想要開始直播,需要投入大量的人力和物力進(jìn)行研發(fā)。
面對如此困境,市面上能夠解決帶寬對播放效果的限制問題的解決方案提供商寥寥無幾。為了用技術(shù)給用戶帶來更高價值的體驗(yàn),阿里云在近期推出了VR視頻解決方案,在保證360度3D 立體VR視頻的高清晰度的前提下,基于視角進(jìn)行流媒體動態(tài)切換,最大化節(jié)約傳輸帶寬,實(shí)現(xiàn)低至 3Mbps 的 4K VR 分發(fā),為用戶帶來突破性的高價值體驗(yàn)。
VR直播整體流程及關(guān)鍵技術(shù)
VR直播的流程與普通直播相似,主要包括:攝像機(jī)采集、PC端視頻編解碼及處理、視頻推流、云端分發(fā)、客戶端播放等。
一、攝像機(jī)采集畫面,通過360度球形攝像機(jī)采集現(xiàn)場視頻
二、前端一體機(jī)進(jìn)行視頻處理,這一步中包括多路視頻流的拼接
三、對VR視頻進(jìn)行編碼,并推流到服務(wù)器或CDN
四、高性能云端CDN進(jìn)行視頻分發(fā),傳輸?shù)诫x用戶最近的節(jié)點(diǎn)
五、客戶端播放,這是VR直播和視頻直播最大的不同之處,需要既支持沉浸式的頭顯體驗(yàn),也提供降級的手持手機(jī)VR體驗(yàn),可以滿足用戶隨時隨地輕量級的體驗(yàn)需求。
阿里云VR解決方案在其中有四個關(guān)鍵技術(shù)與能力:
一、國標(biāo)映射技術(shù)進(jìn)行視頻加工 有效節(jié)省75%碼率
阿里巴巴VR技術(shù)團(tuán)隊(duì)經(jīng)過不斷探索實(shí)踐,提出的映射技術(shù)被VR國家標(biāo)準(zhǔn)認(rèn)可。在技術(shù)實(shí)現(xiàn)層,支持兩種映射模型,對稱映射模型可以最大化端到端的VR顯示兼容性,非對稱映射模型可以最大化關(guān)鍵畫面區(qū)域的有效像素比和清晰度。
同時,阿里云VR視頻解決方案基于非對稱映射模型和動態(tài)流切換技術(shù),視頻流只傳輸用戶觀看的內(nèi)容,用非常低的碼率進(jìn)行高清的VR點(diǎn)播和直播,最大化節(jié)約傳輸帶寬,比普通的壓縮技術(shù)可以節(jié)約75%左右的碼率。
二、高清雙目VR拍攝方案
解決了碼率太大這個痛點(diǎn),對于視頻采集的清晰度就不再有限制了。阿里云VR視頻解決方案支持高達(dá)20臺攝像機(jī)的實(shí)時畫面采集,攝像機(jī)間時間軸同步,搭配阿里云云導(dǎo)播臺,可實(shí)現(xiàn)現(xiàn)場導(dǎo)播和多機(jī)位切換。采集完成后,解決方案支持360度3D畫面實(shí)時拼接,并且具備高達(dá)10gb/s數(shù)據(jù)處理能力,完美儲存極大碼率4K超高清原始介質(zhì)。進(jìn)入圖文包裝階段,阿里云VR解決方案搭建了國內(nèi)首個3D VR實(shí)時圖文包裝系統(tǒng),通過計算深度信息,將記分牌、角標(biāo)等外插內(nèi)容與全景3D畫面實(shí)時融合,全方位展示信息,并且支持導(dǎo)入現(xiàn)場2D畫面,使得VR直播是普通2D直播的加法,優(yōu)化用戶體驗(yàn),這種技術(shù)曾應(yīng)用在阿里云年會之上,得到了實(shí)際場景的驗(yàn)證。
三、全鏈路低延時實(shí)現(xiàn)
在整個VR直播系統(tǒng)的技術(shù)實(shí)現(xiàn)的方面,涉及到從采集端到云端再到播放端的技術(shù),阿里云的VR視頻解決方案,在云端上采用基于阿里云GPU+CPU技術(shù)的異構(gòu)映射,處理和轉(zhuǎn)碼系統(tǒng),在終端上可以實(shí)時進(jìn)行多路視角流切換的播放器,終端實(shí)時切流延遲平均350ms左右。
四、全面保障
依托阿里云CDN在全球1200+節(jié)點(diǎn)和OSS可靠的數(shù)據(jù)存儲,保障了直播內(nèi)容的極速分發(fā)和媒資的安全、穩(wěn)定。同時,該解決方案支持可視化業(yè)務(wù)監(jiān)控,支持無縫容災(zāi)切流機(jī)制,保證運(yùn)營安全。
除此之外,VR視頻解決方案是從采集、轉(zhuǎn)碼、推流、分發(fā)到播放一站式的解決方案,采集端可進(jìn)行快速圖文包裝,服務(wù)端一鍵入駐,全終端集成SDK,支持主流頭顯適配,并且已經(jīng)在優(yōu)酷視頻經(jīng)過3億次播放驗(yàn)證,穩(wěn)定可靠,值得用戶信賴。
VR直播的典型適用場景
一、Live直播
多機(jī)位多視角覆蓋舞臺,與杜比合作的全景聲制作與分發(fā),可以完美還原演唱會現(xiàn)場氛圍,給粉絲帶來身臨其境的體驗(yàn),圖文包裝樂曲和演員信息,畫面實(shí)時互動更是增加了娛樂性,讓粉絲全面、立體、多角度地和明星零距離接觸。
二、 外景直播
在大型賽事、新聞、活動現(xiàn)場,VR直播可以消除觀眾與主持人、選手的距離感,突破原有的視角,高度還原事件現(xiàn)場。
三、 秀場直播
VR直播可以給主播全新的表現(xiàn)能力,僅需升級一款移動VR設(shè)備進(jìn)行直播,就可以達(dá)到相比普通直播更具沉浸感的直播效果,使用戶打賞更投入
四、 游戲直播
游戲場景之下,平臺可以精心制作內(nèi)容,只需要接入VR的推流地址,即可進(jìn)行直播形式的推流與分發(fā),給觀眾更好的觀看體驗(yàn)。
在未來,有了技術(shù)的加持,VR可以走進(jìn)教育、醫(yī)療、購物、旅游、婚慶等各個領(lǐng)域,虛擬現(xiàn)實(shí)世界一定會帶給用戶更多驚喜,我們期待通過技術(shù),更多人用更低的成本體驗(yàn)到世界的豐富和精彩。
本次對VR直播的闡述就到這里,如果想了解VR視頻解決方案詳情,可點(diǎn)擊:
https://www.aliyun.com/solution/security/vrlive?wh_ttid=pc
下次我們將對VR映射算法進(jìn)行技術(shù)解讀,想了解的用戶可以關(guān)注阿里視頻云公眾號,更多精彩內(nèi)容敬請期待!
末尾放一波福利:
視頻云采購季,限時7折優(yōu)惠,速搶!
總結(jié)
以上是生活随笔為你收集整理的看阿里云如何为直播用户营造临场沉浸感?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 离线计算中的幂等和DataWorks中的
- 下一篇: 希望我在开始第一个机器学习项目之前就了解