范醒哲:5G时代是时候全面解决TCP的效率问题了
回顧過去一年工業界在實時網絡方面的探索,大量的篇幅留給了基于UDP的SRT、QUIC等明星協議,包括Google以及國內的B站都有令人欣喜的實踐。但不可否認TCP在整個互聯網依然占據統治地位,UDP并非銀彈。本文由LiveVideoStack對Cascade Range Networks CTO/聯合創始人范醒哲的郵件采訪整理而成,作為一名研究UDP和TCP十多年的老兵,范醒哲剖析了UDP與TCP的優勢與不足,并預測了5G將帶來的網絡協議與應用變革。在LiveVideoStackCon2019上海音視頻技術大會上,范醒哲將詳細介紹TCP技術的未來。
文 / 范醒哲
整理 / LiveVideoStack
LiveVideoStack:范醒哲你好,簡單介紹下自己的工作經歷,以及在Cascade Range Networks負責的工作內容和感興趣的技術方向。
范醒哲:我是2005年參加工作,第一份工作是在學術界,在University of Miami 電子與計算機工程系作Visiting Assistant Professor,主要教授計算機網絡方面的課程和從事TCP方面的科研。當時英國劍橋大學和美國一批院校引領了一股網絡建模優化潮,通過數學建模,一些相關領域的科研人員得以將控制理論博弈理論等根基深厚的理論研究應用到計算機網絡協議的研究上,輔助傳統的計算機網絡系統工程設計。我當時帶著系里的幾個博士生從事此方面的研究,后來研究成果都發表到相應的 IEEE等刊物上,其中一篇TCP的研究文章引起了硅谷創業公司Aspera的注意,于是由朋友牽線搭橋我加入了這家早期創業公司,專門從事網絡協議方面的研究與開發。當時我主要從事基于UDP的應用層協議研發。后來公司被成功收購,我開始思索下一個大的問題在哪里,注意到這么多年TCP一直是工業界的痛點, 正因為TCP協議的諸多效率問題,才讓大家思變去找新出路,于是我和朋友商量后決心將這個痛點問題徹底解決,于是就開始了我的第二次創業之旅。我們現在的公司Cascade Range Networks為企業提供新一代 TCP協議,顛覆TCP的低效,讓老樹開新花。從學生時代起,我就一直作網絡協議方面的研發工作, 做了將近 20年了,也是越做越感興趣,我的興趣關注點也主要在各種網絡協議上 。?
LiveVideoStack:我注意到您一直專注在網絡傳輸技術,回顧歷史,您認為網絡傳輸技術實現了哪些里程碑式的演進?未來的挑戰和突破口在哪里?
范醒哲:網絡傳輸技術這些年發展很快,各種開源的和商業方案層出不窮,僅是文件傳輸領域就有多家公司,音視頻流媒體領域更是出現了很多針對特定應用場景比方說實時音視頻交互的Framework。這些Framework基本上都是基于UDP的應用層框架。選擇UDP有諸多原因,一個主要原因就是TCP對廣域網丟包和時延非常敏感,直接導致TCP遠距離使用帶寬非常低效,因而無法滿足某些特定應用的要求。
?
從大的方面說,我個人覺得傳輸技術正在從基于內容的方案到真正提升底層協議效率的轉變。早期有像Akamai這樣的CDN內容分發技術提前將內容分布到用戶附近,后來又有了像Riverbed這樣的WAN Optimization 技術通過內容差分(比如WAN De-dupe)減少遠距離傳輸的內容大小。這類公司依靠CDN和WAN Optimization技術迅速崛起,共同造就了上百億美金的大市場。基于內容的傳輸本質上就是提前預傳輸或者減少傳輸數據量從而提升傳輸的時效性,再結合帶寬的批量采購與零售,解決終端客戶很多數據傳輸方面的問題。這些年隨著鏈路及路由管理自動化,又出現了SD-WAN的熱潮,從傳輸角度看SD-WAN好比是收費高速公路,較共享鏈路路況好,時延低,可保證某些特定應用的時效性要求,缺點就是對終端用戶而言費用高,而且SD-WAN主要解決高速主干路段傳輸問題,未很好解決接入通道的低效(好比市內接入收費高速的路段擁堵)。隨著這些內容分發和帶寬管理技術的慢慢成熟,數據傳輸行業也逐漸開始關注如何提升協議層的傳輸效率。CDN,WAN Optimization, SD-WAN都廣泛使用了各種TCP tuning對TCP傳輸協議進行改良,這好比是給車換機油和調整引擎參數來提升TCP在某類鏈路上的效率。在UDP領域行業則基本采取在應用層重建TCP的某些機制的辦法,如在UDP協議基礎上重建重傳機制以滿足一些特定應用的需求,實例比方說Google推出的一些應用層傳輸協議。
最后想提一下,我個人認為從數據傳輸角度看是時候全面解決TCP的效率問題了,而不是再像過去那樣只針對某類網絡進行小修小補式的改良。網絡各層的效率都在提升,從物理層到應用層,包括基于UDP的協議都在迅速發展,而作為當年赫赫有名的TCP/IP的TCP協議卻遲遲未被深度挖掘,這中間有歷史原因,有技術原因,但是TCP優化始終未跟上應用的需求,這是挑戰也是機遇,時代呼喚新一代的TCP協議。
LiveVideoStack:根據思科的報告,2022年,5G流量站到整個移動設備流量的12%。5G對于多媒體傳輸帶來哪些本質變化呢?
范醒哲:5G人未到,聲先至,現在也是各種媒體關注的焦點,如前面提到的,5G極大的解決了網絡底層傳輸帶寬問題,幾乎所有的人都期待5G能極大的提升傳輸速度,為多媒體傳輸帶來變革,像超高清3D、VR、AR等數據量極大需要帶寬更多的音視頻應用都會因為多媒體傳輸速度的提升可以通過互聯網進入更多的家庭。5G提升網絡底層帶寬的同時也將勢必暴露出其上各網絡協議層的瓶頸問題,而這些瓶頸是否能真正解決將影響多媒體傳輸的未來。我們知道端到端用戶感知的提升,絕不僅受限于5G技術,從目前來看,網絡傳輸層和應用層仍是最主要瓶頸。舉例來說在舊金山市中心,現在4G普通手機在白天時段可用帶寬實測已經是100Mbps,可以支撐絕大多數的音視頻應用,但是大家還是無法體驗 100Mbps所能支撐的諸如4K高清視頻等應用,這主要就是因為上層協議的各種瓶頸問題。 5G的到來會像催化劑一樣,加速多媒體傳輸的發展,帶動整個上層協議和應用的革新。從這個意義上講, 作為一名為傳輸和應用平臺提供優化技術的工程人員,我也是摩拳擦掌,愿意加入到這場速度和用戶體驗提升的大變革中。
LiveVideoStack:未來幾年,哪些行業與場景會成為多媒體傳輸觸達的領域呢?
范醒哲:多媒體數據作為一種大信息載體勢必將來成為IoT,自動駕駛等行業的邊緣設備所消耗的主要流量之一,比方說自動駕駛期待有大量的行車視頻信息要上傳至智能數據中心,這些數據和其它行車數據一起對自動駕駛技術的研發,及自動駕駛普及后的車輛控制、管理和安全都非常重要。除了自動駕駛外,超高清視頻通訊將更一步普及,智慧城市也將更多,而其中的數據流絕大部分也將為超高清多媒體數據,可以說各行各業都會越來越多的使用和傳輸多媒體數據。
?
LiveVideoStack:像TCP和DASH提供了統一的網絡和容器標準,您看好哪些標準正在變得越來越重要和流行?
范醒哲:一個標準流行起來需要兩點,一是覆蓋和二是穿透。覆蓋是說是否能為絕大部分互聯網軟件和硬件應用比方說各種瀏覽器,各種終端設備所支持,穿透是說是否能為絕大多數防火墻和網絡設備所允許。從這個意義是講,我覺得HTTPS是未來最重要的協議標準,而其基于的TCP協議也會是最重要的傳輸協議標準。作為對比,基于UDP的應用層協議,雖然在骨干網某些特定場景下被使用,但真正面對千家萬戶的各種終端時,因為其部署往往不能為所有終端和瀏覽器所支持,還受到某些防火墻的阻擋而必須以TCP作 fallback備胎方案。因而在這類特定應用場景里,UDP方案的流行也離不開TCP,而且作為fallback備胎方案的TCP在平臺上支撐的數據流數往往也遠超UDP所支撐的數據流數,這好比NBA比賽,一個替補隊員得分遠超主力首發。當然在某些UDP流行的場景下,TCP作為替補隊員的確存在短板,但是隨著短板的改進,TCP在這些場景下也會變得更重要和流行。
LiveVideoStack:一些專業公司提供出色的網絡傳輸技術,但他們的標準是私有的,這可能在與其他標準服務切換過程中存在高風險和成本,同時可能是企業保護自己的一種策略。您如何看待開放標準與私有標準的價值與利弊?
范醒哲:你的問題里涉及了幾個概念,我先羅列一下:公有(開源)vs私有(閉源),標準vs非標準。在傳輸領域這些年公有開源協議往往走的是非標準的道路,因而需要企業去學習、集成、運維,除了時間成本巨大外,每年的維護成本也是相當可觀,而且如要真正做到為企業平臺定制優化,還需額外的研發與迭代,而這種研發的人力資源本身往往就是稀缺的,所以我們常見的一種現象是公有開源從運維集成角度來說并非免費,而且某種意義上說是非常昂貴的,本質原因就是這些開源采用了非標準的路線。
在社會高度分工的今天,我個人是標準協議的倡導者,無論這個標準協議是開源的還是閉源的,如果有公司可以更高效的低成本的提供一個部件,為什么不去把資源調動到企業的核心業務上呢?這就好比現在的汽車廠商,零部件其實很多都是從第三方訂購的,比如發動機,如果有發動機廠商可以以更低廉的成本生產優質的發動機,為什么需要每個汽車廠去根據開放標準去自己生產發動機呢?生產就意味著質量控制,這些往往需要大量的投入。結合我們自己的經歷,雖然我們的協議是私有協議,但是我們是TCP標準的堅定支持者,無論是私有協議還是公有協議都要遵循標準,這樣才能沒有切換的成本,真正為終端企業和用戶考慮。比方說當你考慮采用私有的傳輸協議時,與TCP兼容絕對是我們倡導和追求的,這樣企業將來想換成其它開源或者私有TCP協議時就沒有切換的成本。
LiveVideoStack:基于UDP的QUIC和SRT備受關注,許多公司開始在生產環境下應用,展現出一定的優勢。與此同時,TCP還在不斷優化中。您如何評價UDP與TCP的優勢與不足?作為企業應該如何抉擇?對此,您有哪些建議?
范醒哲:數據傳輸瓶頸問題始終伴隨著互聯網的成長,且以不同用戶感知的形態而展現,很多公司在苦等底層傳輸協議性能提高的過程中,集成使用了像QUIC和SRT這樣的上層方案來解決生產環境中的一些問題,熟悉這個過程的公司一定知道,這種集成和之后的維護并不是一個令人愉快的過程,耗時耗力,針對特定企業生產環境的優化還需要額外調試。這些集成往往還造成了方案鎖定,就是這些方案本身都是拍他的,將來有更好的技術出現時,又要經歷昂貴的切換 。
UDP的優勢是對某些特定場景應用能在一定程度上解決時延問題,但它的不足之處也是非常明顯的,除了上面說的切換成本很高以外,因為UDP協議本身 是IP協議的簡單封裝,任何復雜的傳輸機制比方說重傳機制等只能在應用層重建,從而導致方案消耗額外CPU和內存資源且需要服務端和用戶端同時部署,而考慮到用戶端軟件和硬件的廣泛性,這就造成了很難做到廣泛的覆蓋和穿透(覆蓋是指能否為絕大部分互聯網軟件和硬件應用比方說各種瀏覽器,各種終端設備所支持,穿透是指能否為絕大多數防火墻和網絡設備所允許)。UDP的另一個不足是基于UDP的應用層協議收發兩端往往不為一個企業實體所擁有,這也極大增加了部署的難度。
TCP的最大優勢就是覆蓋和穿透,像基于TCP的HTTPS,是當今最廣泛使用的協議,它的不足則在于針對低時延應用,如交互式音視頻上略顯劣勢,還有就是對丟包和時延的敏感造成了其在長距離時不能有效利用帶寬,而且在帶寬檢測時暴力發送會造成帶寬的短暫擁堵,這兩點都會造成帶寬上的浪費。TCP的不足是有目共睹的,現在是徹底全面解決TCP短板的時候了。
LiveVideoStack:越來越多的企業采用一家甚至多家云端的多媒體服務,這些云服務需要通過API來互相對接。統一、強壯、易用的API對于多媒體生態是否有促進作用呢?
范醒哲:統一、強壯、易用的API,沒有Vender的方案鎖定,沒有切換成本,都是整個行業所樂見的。我并不是多媒體云服務的專家,但是我想所有用戶都反對非標準的API,近幾年一些國內外云平臺利用自身市場優勢開源強推自己的API實際上也造成云和云之間的割裂。無論是開源還是閉源若企業都能支持統一的API或標準,就能便利整個行業內企業間的對接。比方說視頻云,為了解決一些視頻進云的傳輸效率問題某些企業采用非標準的雙端應用層傳輸協議,這樣做的一個很大問題就是當視頻需要上傳第三方時,對接就會遇到很大阻力,因為大型公有云平臺往往不支持需要雙端部署的非標準應用層協議。網絡傳輸層的標準Socket ?API,一直是我們數據傳輸層最主要的協議標準,廠家可以有自己內部實現上的不同,但只要從外部看起來若是同一套Socket API,就能保證互通,當有更好的實現,用戶切換成本也為零。
LiveVideoStack:網絡的本質就是把數據從一端傳輸到另一端,保證數據及時(低延遲,高帶寬)、準確(數據完整性)、安全和更低的成本。對于多媒體傳輸而言,您認為有哪些更深刻的挑戰?
范醒哲:多媒體傳輸是一個很大的概念,涉及很多行業和應用場景,不同應用也有不同的性能需求,總體而言,多媒體傳輸首先面臨的挑戰是通用數據傳輸的挑戰。在低碼率情況下,這種傳輸的挑戰往往并不明顯,傳統的傳輸協議即可勝任。但是隨著超高清視頻分辨率的提高,碼率的提升,距離和環境帶來的挑戰就會慢慢彰顯,比方說距離會導致時延,環境干擾會帶來丟包,而現有的傳輸協議又對延時和丟包敏感,這就帶來了傳輸層協議不能夠勝任大數據多媒體遠距離傳輸的挑戰。尤其是在不久的將來迎來5G,迎來4K和8K視頻,當帶寬道路不再是瓶頸,上層的各協議層作為信息車載是否能高速快遞多媒體信息將是一個切實的挑戰。
在多媒體傳輸中還有很多特定的挑戰,比方說在超高清會議系統里,低延時的挑戰,首屏等待時間的挑戰,視頻卡頓的挑戰, 轉碼和安全的挑戰等等。這些問題與挑戰有些跟數據傳輸直接相關,有些則是衍生難題諸如視頻轉碼和數據安全等。跟數據傳輸直接相關的多媒體傳輸挑戰從本質上說都是數據傳輸瓶頸從不同用戶感知以多媒體的形態展現了出來,所以本質上也是傳輸協議的挑戰。跟傳輸間接相關的挑戰諸如轉碼等,這些挑戰的解決跟數據傳輸也是相輔相成的,比方說現在某些公司提供新的AV1轉碼技術,這些技術比現有技術能更進一步壓縮視頻數據,可以完美的結合新的數據傳輸技術解決一些更難的多媒體傳輸中的瓶頸問題。
點擊【閱讀原文】或掃描圖中二維碼了解更多LiveVideoStackCon 2019 上海 音視頻技術大會 講師與議題信息。
總結
以上是生活随笔為你收集整理的范醒哲:5G时代是时候全面解决TCP的效率问题了的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 音视频技术开发周刊 91期
- 下一篇: 质量三维论如何持续推进腾讯视频播放体验提