Dubbo 云原生之路:ASF 毕业一周年、3.0 可期
作者 | 劉軍
**導讀:**今年是 Dubbo 從 Apache 基金會畢業(yè)的一周年,同時也是推進 Dubbo 3.0,即全面擁抱云原生的重要一年。Dubbo 社區(qū)策劃了【Dubbo 云原生之路】系列文章,和大家一起回顧 Apache Dubbo 社區(qū)的發(fā)展。系列文章主要涵蓋 Dubbo 技術解讀、社區(qū)運營、應用案例解析三大部分。
縱觀中國開源歷史,你真的沒法找到第二個像 Dubbo 一樣自帶爭議和討論熱度的開源項目。
一方面,2011 年,它的開源填補了當時生產環(huán)境使用的 RPC 框架的空白,一發(fā)布就被廣泛采用;另一方面,它經歷了停止維護、重啟維護后捐獻給 Apache 基金會、接著又以頂級項目的身份畢業(yè)。即便阿里努力對外展示開源投入的決心,在面對廣受歡迎的后起之秀 Spring Cloud,和新生兒 Service Mesh 的夾擊下,Dubbo 的路將怎么走下去?在云原生時代,它如何延續(xù)當前光芒?
前言
本篇作為整個系列的開篇,將整體回顧并展望 Dubbo 項目發(fā)展,同時簡要概括后續(xù)文章。
從 2019 年到現(xiàn)在,在 Dubbo 畢業(yè)的這一年時間里,Dubbo 社區(qū)和產品都取得長足進步,同時 Dubbo 云原生版本 - Dubbo 3.0 的開發(fā)工作也已經全面鋪開。
社區(qū)方面。需要重點提及的有兩點:一個是落地與貢獻的企業(yè)用戶進一步增加,主動與社區(qū)取得聯(lián)系的中、大規(guī)模公司達200多家,如攜程、工商銀行、瓜子二手車、網聯(lián)清算、中通等;另一個是以 Dubbo-go 為代表的子社區(qū)蓬勃發(fā)展。
產品技術演進方面。Dubbo Java 版發(fā)布 10 個版本,在多語言、協(xié)議、性能、服務治理模型等方面都有深度探索。Dubbo go 發(fā)布超過 8 個版本,在功能基本對齊 Java 版本的基礎上,一些方向上也已經走在了 Java 版本前面。值得一提的是,阿里巴巴內部也正在積極推動 Dubbo 社區(qū)版本在內部的落地,從今年開始逐步實現(xiàn)以 Dubbo 替換其內部的 HSF 框架。這一方面有利于阿里將其在 HSF 上的豐富服務治理經驗回饋輸出到社區(qū),另一方面阿里官方的落地也將直接加速 Dubbo 云原生的發(fā)展。
在云原生大潮下,3.0 已被正式列為今年 Dubbo 產品建設的核心目標,涉及下一代 RPC 協(xié)議、服務治理模型、云原生基礎設施適配等多方面的內容。其中,很多方面已經在當前的 2.7 版本中做了前置性探索,如近期發(fā)布的基于 HTTP/2 的協(xié)議支持、應用級服務發(fā)現(xiàn)等,后續(xù)工作將以此為基礎展開。系列文章也會有對 Dubbo 3.0 Roadmap 及技術方案的詳細解析。
Dubbo 畢業(yè)一周年回顧
2017 年 7 月,Dubbo 開源項目被重新激活,2018 年捐獻到 Apache 基金會,2019 年 5 月,Dubbo 正式從 Apache 基金會孵化畢業(yè),成為 Apache 頂級項目。接下來,文章分別從社區(qū)、子社區(qū)、產品三方面介紹 Dubbo 過去一年的成績。
社區(qū)一年發(fā)布 24 個版本,貢獻者已超 300
如果說最開始重新激活是以阿里巴巴為主導的項目維護投入,那自 Dubbo 加入 Apache 起,它就已經開始成為一個社區(qū)主導、社區(qū)貢獻為主的完全開放的基金會項目。
到今天,這一趨勢正變得更明顯。包括阿里巴巴、攜程、工商銀行、瓜子二手車、網聯(lián)清算、中通等在內的互聯(lián)網、傳統(tǒng)企業(yè)公司,在?Dubbo 的使用與社區(qū)代碼貢獻上都有投入。Dubbo 社區(qū)正變得非?;钴S和多樣化。
過去一年,Dubbo 社區(qū)項目總共發(fā)布 24 個版本,發(fā)展 Committer/PMC 27 人,其中有 20% 的貢獻者是來自于阿里巴巴,80% 以上來自不同組織的開發(fā)者或愛好者。
Dubbo 社區(qū)組織了超過 10 場線下 meetup 活動,基本覆蓋了國內開發(fā)者聚集的城市。通過線下或線上直播活動,分享超過 100 個 topic 的演講,深度講解?Dubbo 社區(qū)最新動態(tài)、功能模塊開發(fā)和近期規(guī)劃等。主題演講大多是社區(qū)采集方式,由 Dubbo 的深度企業(yè)分享實踐經驗,其中典型的代表包括攜程、工商銀行、考拉、信用算力等。
從 Github 統(tǒng)計數(shù)據(jù)來看,Dubbo Star 數(shù)取得新的里程碑,已超過 3 萬,相比重啟開源時增長了近 5 倍;貢獻者由最初的幾十個增長到現(xiàn)在的 300 多個,而這其中有 60 多人已經被提名為 committer,不論是貢獻者數(shù)量還是 committer 比例都得到很大的提升;Dubbo Java 發(fā)布的有 65 個。
上述主要是對?Dubbo Java 項目社區(qū)發(fā)展的總結,下面將介紹 Dubbo Java 產品方面的進展。
Dubbo Java?迭代,目前主要維護 3 個大版本
當前社區(qū)維護的?Dubbo Java?大版本主要有 3 個,分別是 2.5.x、2.6.x 和 2.7.x。
- 2.7.x 是社區(qū)的主要開發(fā)版本,在過去的一年共發(fā)布了 8 個版本(2.7.0 - 2.7.7),每個版本都有一些值得關注的特性或功能升級,涵蓋從編程模型、服務治理、性能到協(xié)議的多個方面的增強;
- 2.6.x 版本則定位為 bugfix 版本,過去一年共發(fā)布了 3 個版本,主要以修復問題和安全漏洞為主,并沒有增加太多新的 feature;
- 2.5.x 版本從 2019 年初開始已宣布 EOF,只做安全修復;而到了下半年已經完全停止了維護。
下面通過一個簡要分層模塊圖,回顧過去一段時間 Dubbo 的技術架構演進,從編程模型、服務治理、傳輸協(xié)議、性能優(yōu)化等角度切入:
以上很多功能都已被各大廠商落地,用于解決具體的業(yè)務問題。我們也期待,接下來這些廠商帶來更多關于 Dubbo 實踐經驗的深度總結。
Dubbo-go 發(fā)展的第五年,正與 Dubbo 齊頭并進
除 Dubbo Java 之外,Dubbo 周邊也發(fā)展出了很多優(yōu)秀的子項目(子社區(qū)),其中包括?Dubbo-spring-boot-project、Dubbo-go?等,這里先著重介紹 Dubbo-go 子社區(qū)。
Dubbo-go 項目最早由于雨在 2016 年 5 月構建,同年9月發(fā)布并開源,如下時間軸圖清晰記錄了?Dubbo-go 的前世今生。
秉承?“bridge the gap between Java and Go” 天然使命的?Dubbo-go,已經進入第五個年頭,也走出了自己獨特的發(fā)展路徑:
- 當前的?v1.4.0 版本已對齊 2.6.x 版本,即將發(fā)布的版本將與 v2.7.x【對標 v2.7.5】對齊,而后將會發(fā)布對標 Dubbo 3.x 的 v1.6.0 版本;
- 獨立維護從底層的 hessian2 協(xié)議庫?Dubbo-go-hessian2、網絡庫?getty?到上層對標 Dubbo 的?Dubbo-go?的全套實現(xiàn);
- 獨立的 TCP + Protobuf 和 gRPC + JSON 通信方案也已開發(fā)完成【將包含著在版本 v1.5.0 中】;
- 已與?Dubbo/gRPC/Spring Boot?實現(xiàn)互聯(lián)互通;
- 通過接入?Opentracing?和 Promethus,Dubbo-go 在可觀測性等微服務方向的進行了自己獨特的探索;
- 已實現(xiàn)了基于 HTTPS 的可信 RPC 調用;
- 已經實現(xiàn)了自己獨特的把 Kubernetes 作為注冊中心的微服務方案。
Dubbo-go?從最開始?Dubbo 的?Go 語言實現(xiàn),已發(fā)展成為目前 Dubbo 多語言版本中功能最強大者,它的發(fā)展離不開背后強大的?Dubbo-go 社區(qū)。除了上述 Dubbo-go 的自身特性外,通過跨社區(qū)合作,取得了如下成績:
- 通過與 MOSN 社區(qū)合作,已經實現(xiàn) Dubbo/Dubbo-go 應用可以零成本接入基于 MOSN 實現(xiàn)?Dubbo Mesh,實現(xiàn)微服務和云原生共存的?“雙模微服務”;
- 與 sentinel 社區(qū)合作,在 Dubbo/Dubbo-go 完整接入?sentinel 的降級和限流方案;
- 與 Apollo 社區(qū)合作,在 Dubbo-go 中實現(xiàn)遠程配置下發(fā);
- 與 Nacos 社區(qū)合作,實現(xiàn)基于 Nacos 的服務發(fā)現(xiàn)。
Dubbo-go 社區(qū) 2020 年 Q2 主要目標有:
- 發(fā)布完全對齊 Dubbo 2.7.x 的?v1.5.0 版本;
- 發(fā)布對標 Dubbo 3.0 的 v1.6.0 版本;
- 在云原生方面繼續(xù)自己的探索;
- 繼續(xù)與兄弟社區(qū)保持合作共進態(tài)勢,擴大自身使用范圍;
- 生產實踐上推進在阿里集團,以及更多廠家的落地。
項目(包括子項目)目前已先后在攜程、涂鴉智能和螞蟻金服等公司生產落地。今年阿里集團完成 HSF 和 Dubbo 的融合后,項目也將在阿里集團雙十一戰(zhàn)場經受考驗。
云原生 Dubbo - Dubbo 3.0
3.0 是下一代 Dubbo 架構的代號。一年前,最開始探索 Reactive Stream 之時,社區(qū)也曾有過對 Dubbo 3.0 的廣泛討論。而這一次,在云原生大背景下,3.0 代表了更全面的 Dubbo 架構升級,涉及到下一代 RPC 協(xié)議、全新的服務治理模型和云原生基礎設施適配等。
阿里巴巴是參與 Dubbo 3.0 開發(fā)建設的主要力量之一,這款始于阿里的開源項目正重新回歸阿里內部落地。
去年開始,阿里巴巴就已經在逐步推動以 Dubbo 替換其內部的 HSF 框架的工作,通過將 Dubbo 與 HSF 兩個框架融為一體,并在此基礎上發(fā)展出適應云原生架構的 Dubbo 版本。Dubbo 重回阿里巴巴的落地是擁抱社區(qū)、擁抱云原生、擁抱標準化的一次很好的實踐。阿里巴巴內部?Dubbo 3.0 的落地,對社區(qū)也是一個重大利好,這一方面有利于阿里巴巴將其在 HSF 上的豐富服務治理經驗回饋輸出到社區(qū),另一方面也將直接推動 Dubbo 云原生架構的快速演進。除了阿里巴巴之外,包括斗魚、工商銀行、愛奇藝、斗魚等廠商也都在參與下一代 Dubbo 3.0 的建設。
下面列出了 Dubbo 3.0 中的三個重要方向,具體的 Roadmap 將在接下來文章中單獨說明:
- 下一代 RPC 協(xié)議。新協(xié)議將提供更豐富的如 Stream、Flow Control 等內置語義,同時將具有更好的擴展性、網關的友好性等;
- 基于應用粒度的服務發(fā)現(xiàn)機制。在兼顧 Dubbo 面向接口的易用性與功能性的基礎上,解決與 Kubernetes Native Service 適配問題,解決大規(guī)模集群下的地址推送性能瓶頸問題;
- 適配云原生基礎設施的解決方案。這涉及到 Dubbo 服務與基礎設施生命周期對接、Kubernetes Native Service 適配、適應基礎設施調度的服務治理規(guī)則、適配 Service Mesh 架構的解決方案等。
接下來沿著這三個方面簡要展開。
下一代 RPC 協(xié)議
專注在協(xié)議自身來說,下一代的協(xié)議主要聚焦在 HTTP/2、Reactive Stream、Flow Control 等方面:
- Reactive Stream:Reactive Stream 引入 RPC,帶來更豐富的通信語義和 API 編程模型支持,如 Request-Stream、Bi-Stream 等;
- HTTP/2:微服務云原生場景下,基于 HTTP/2構建的通信協(xié)議具有更好的通用性和穿透性;
- Flow Control:協(xié)議內置流控機制,支持類似 Reqctive Stream 的 Request (n) 流控機制。
從解決的業(yè)務場景問題上來說,基于新的協(xié)議 Dubbo 在框架層面要支持智能決策的負載均衡算法、對 Mesh 和網關更友好、更容易提供多語言實現(xiàn)與互通等。
- Mesh:協(xié)議對穿透 Mesh 更友好,區(qū)分協(xié)議頭 Metadata 與 RPC Payload,方便完成與 Mesh 的協(xié)作,包括流量控制機制、應用層配置協(xié)商等;
- 協(xié)議通用性:兼顧通用性與性能,支持協(xié)議能在各種設備上運行;
- 多語?支持:如通過支持 Protobuf 提供了更完善的跨語言服務定義與序列化傳輸?shù)闹С帧?/li>
應用級服務治理
面向接口一直以來都是 Dubbo 框架的優(yōu)勢。一方面它的易用性,為開發(fā)者屏蔽了遠程調用的存在;另一方面面向接口的地址發(fā)現(xiàn)、服務治理帶來了更強大的能力,使得整個 Dubbo 治理體系非常強大與靈活。
既然面向接口有如此多的好處,那為什么我們還要探索面向應用的服務治理模式呢?
聽起來似乎有些矛盾。其實到底是面向接口,還是面向應用,只是從不同的角度看 Dubbo。我們所聊的“面向接口 -> 面向應用”的改造,主要體現(xiàn)在服務注冊、發(fā)現(xiàn)層面:
而我們說的面向應用的新模型,主要對第 2 點,即注冊中心的數(shù)據(jù)組織轉變?yōu)?“面向應用/實例” 粒度。這為我們解決兩個問題:
- 在服務發(fā)現(xiàn)層面與 Kubernetes Service 等微服務模型對齊;
- 服務發(fā)現(xiàn)的數(shù)據(jù)量將有一個量級的下降,從 “接口數(shù) *?實例數(shù) ”下降到 “應用數(shù) * 實例數(shù)”。
具體可以參見文章《Dubbo 邁出云原生重要一步 - 應用級服務發(fā)現(xiàn)解析》,本系列文章后續(xù)也會有對這部分機制和實現(xiàn)的更深度解析。
云原生基礎設施
云原生帶來了底層基礎設施,應用開發(fā)、部署和運維等全方位的變化:
基礎設施
- 基礎設施調度機制變化,帶來運維(生命周期)、服務治理等方面的變化;
- 服務發(fā)現(xiàn)能力下沉, Kubernetes 抽象了 Native Service Discovery。
Service Mesh - 云原生微服務解決方案
- Mesh 為跨語言、sdk 升級等提供了解決方案,Dubbo sdk 要與 Mesh 協(xié)作,做到功能、協(xié)議、服務治理等多方便的適配;
- Mesh 尚未大規(guī)模鋪開,且其更適合對流量管控更關注的應用,傳統(tǒng) SDK 的性能優(yōu)勢仍舊存在,兩者混部遷移場景可能會長期存在。
從應用場景上,Dubbo 可能的部署環(huán)境包括:
- 不使用 Kubernetes Native Service,Kubernetes 只作為容器編排調度設施,繼續(xù)使用 Dubbo ?自建的服務注冊、發(fā)現(xiàn)機制;
- 復用 Kubernetes Native Service,Dubbo 不再關心服務注冊,Dubbo Client 負責服務發(fā)現(xiàn)與流量分配;
- Dubbo sdk 往 Mesh 遷移,一方面要做到適應 Mesh 架構,成為 Mesh 體系下的 RPC 編程和通信方案;另一方面要做到 Dubbo 與 Mesh 架構長期共存,互相打通服務發(fā)現(xiàn)和治理體系;
- Kubernetes 上與云下混合部署的平滑遷移支持,包括服務發(fā)現(xiàn)的統(tǒng)一與網絡通信方案的打通。
從 Dubbo 功能劃分上,將著重從以下方面提供對云原生基礎設施的支持:
- **生命周期:**Dubbo 與 Kubernetes 調度機制綁定,保持服務生命周期與 Pod 容器等生命周期的自動對齊;
- **治理規(guī)則:**服務治理規(guī)則在規(guī)則體、規(guī)則格式方面進行優(yōu)化,如規(guī)則體以 YAML 描述、取消過濾規(guī)則對 IP 的直接依賴,定義規(guī)則特有的 CRD 資源等;
- 服務發(fā)現(xiàn): 支持 K8s Native Service 的服務發(fā)現(xiàn),包括 DNS、API-Server,支持 xDS 的服務發(fā)現(xiàn);
- **Mesh 架構協(xié)作:**構建下一代的基于 HTTP/2 的通信協(xié)議,支持 xDS 的標準化的數(shù)據(jù)下發(fā)。
新一代的 RPC 協(xié)議和應用級服務發(fā)現(xiàn)模型將會是這一部分的前置基礎。
總結與展望
作為系列文章開篇,我們在這里對 Dubbo 過去一年的成績做了簡要的總結與回顧,包括 Dubbo 社區(qū)、產品迭代的發(fā)展。
接下來我們會看到更多來自深度 Dubbo 用戶的落地經驗分享,Dubbo-go 子社區(qū)的發(fā)展故事等。
更重要的,我們也對下一代云原生 Dubbo - Dubbo 3.0 做了展望,后續(xù)關于 Dubbo 3.0 Roadmap、方案設計與進展解析等也將在此系列中發(fā)布。敬請期待!
作者簡介
**劉軍??**花名陸龜,Github 賬號 Chickenlj,Apache Dubbo PMC,項目核心開發(fā),見證了 Dubbo 重啟開源,到從 Apache 基金會畢業(yè)的整個過程。現(xiàn)任職阿里云云原生應用平臺團隊,參與服務框架、微服務相關工作,目前主要在推動 Dubbo 3.0 - Dubbo 云原生。
“阿里巴巴云原生關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦云原生流行技術趨勢、云原生大規(guī)模的落地實踐,做最懂云原生開發(fā)者的公眾號?!?/p>
總結
以上是生活随笔為你收集整理的Dubbo 云原生之路:ASF 毕业一周年、3.0 可期的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 从零入门 Serverless | 教你
- 下一篇: 阿里宣布成立云原生技术委员会,释放哪些趋