分布式服务框架原理(一)设计和实现
分布式服務框架設計
分布式服務框架一般可以分為以下幾個部分,
(1)RPC基礎層:
包括底層通信框架,如NIO框架、通信協議,序列化和反序列化協議,
以及在這幾部分上的封裝,屏蔽底層通信細節和序列化方式差異
(2)服務發布/消費:
服務提供者根據消費者請求消息中的接口名,方法名,參數列表等信息,通過Java反射,調用本地的接口實現類;
服務消費者將服務提供者發布的接口封裝成遠程服務調用;
(3)服務調用鏈:
在服務調用的職責鏈中,通過在調用鏈切面的編碼完成相關的監控和擴展,如負載均衡,服務調用性能統計,調用完成通知,
失敗重發等功能
(4)服務注冊中心:
注冊中心負責服務的發布和通知,需要支持服務的平滑上線下線等
(5)服務治理中心:
服務治理中心是一個可視化的模塊,提供對服務的可視化分析和維護,包括服務運行狀態,調用關系和健康度等
下面以Dubbo為例來分析分布式服務框架的結構。
Dubbo的設計角色
(1)系統角色
Provider: 暴露服務的服務提供方。
Consumer: 調用遠程服務的服務消費方。
Registry: 服務注冊與發現的注冊中心。
Monitor: 統計服務的調用次調和調用時間的監控中心。
Container: 服務運行容器。
(2)調用關系
服務容器負責啟動,加載,運行服務提供者。
服務提供者在啟動時,向注冊中心注冊自己提供的服務。
服務消費者在啟動時,向注冊中心訂閱自己所需的服務。
注冊中心返回服務提供者地址列表給消費者,如果有變更,注冊中心將基于長連接推送變更數據給消費者。
服務消費者,從提供者地址列表中,基于軟負載均衡算法,選一臺提供者進行調用,如果調用失敗,再選另一臺調用。
服務消費者和提供者,在內存中累計調用次數和調用時間,定時每分鐘發送一次統計數據到監控中心
Dubbo是如何架構的
Dubbo的總體架構如圖所示:
框架分層架構中,各個層次的設計要點:
服務接口層(Service):該層是與實際業務邏輯相關的,根據服務提供方和服務消費方的業務設計對應的接口和實現。
配置層(Config):對外配置接口,以ServiceConfig和ReferenceConfig為中心,可以直接new配置類,也可以通過spring解析配置生成配置類。
服務代理層(Proxy):服務接口透明代理,生成服務的客戶端Stub和服務器端Skeleton,以ServiceProxy為中心,擴展接口為ProxyFactory。
服務注冊層(Registry):封裝服務地址的注冊與發現,以服務URL為中心,擴展接口為RegistryFactory、Registry和RegistryService。可能沒有服務注冊中心,此時服務提供方直接暴露服務。
集群層(Cluster):封裝多個提供者的路由及負載均衡,并橋接注冊中心,以Invoker為中心,擴展接口為Cluster、Directory、Router和LoadBalance。將多個服務提供方組合為一個服務提供方,實現對服務消費方來透明,只需要與一個服務提供方進行交互。
監控層(Monitor):RPC調用次數和調用時間監控,以Statistics為中心,擴展接口為MonitorFactory、Monitor和MonitorService。
遠程調用層(Protocol):封將RPC調用,以Invocation和Result為中心,擴展接口為Protocol、Invoker和Exporter。Protocol是服務域,它是Invoker暴露和引用的主功能入口,它負責Invoker的生命周期管理。Invoker是實體域,它是Dubbo的核心模型,其它模型都向它靠擾,或轉換成它,它代表一個可執行體,可向它發起invoke調用,它有可能是一個本地的實現,也可能是一個遠程的實現,也可能一個集群實現。
信息交換層(Exchange):封裝請求響應模式,同步轉異步,以Request和Response為中心,擴展接口為Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer。
網絡傳輸層(Transport):抽象mina和netty為統一接口,以Message為中心,擴展接口為Channel、Transporter、Client、Server和Codec。
數據序列化層(Serialize):可復用的一些工具,擴展接口為Serialization、 ObjectInput、ObjectOutput和ThreadPool。
Dubbo的底層實現
(1)協議支持
Dubbo支持多種協議,如下所示:
Dubbo協議 Hessian協議
HTTP協議 RMI協議
WebService協議
Thrift協議 Memcached協議 Redis協議在通信過程中,不同的服務等級一般對應著不同的服務質量,那么選擇合適的協議便是一件非常重要的事情。你可以根據你應用的創建來選擇。例如,使用RMI協議,一般會受到防火墻的限制,所以對于外部與內部進行通信的場景,就不要使用RMI協議,而是基于HTTP協議或者Hessian協議。
(2)默認使用Dubbo協議
連接個數:單連接
連接方式:長連接
傳輸協議:TCP
傳輸方式:NIO異步傳輸
序列化:Hessian二進制序列化
適用范圍:傳入傳出參數數據包較小(建議小于100K),消費者比提供者個數多,單一消費者無法壓滿提供者,盡量不要使用dubbo協議傳輸大文件或超大字符串
使用場景:常規遠程服務方法調用
從上面的適用范圍總結,dubbo適合小數據量大并發的服務調用,以及消費者機器遠大于生產者機器數的情況,不適合傳輸大數據量的服務比如文件、視頻等,除非請求量很低。
(3)Dubbo源碼模塊圖
Dubbo以包結構來組織各個模塊,各個模塊及其關系,如圖所示:
可以通過Dubbo的代碼(使用Maven管理)組織,與上面的模塊進行比較。簡單說明各個包的情況:
dubbo-common 公共邏輯模塊,包括Util類和通用模型。
dubbo-remoting 遠程通訊模塊,相當于Dubbo協議的實現,如果RPC用RMI協議則不需要使用此包。
dubbo-rpc 遠程調用模塊,抽象各種協議,以及動態代理,只包含一對一的調用,不關心集群的管理。
dubbo-cluster 集群模塊,將多個服務提供方偽裝為一個提供方,包括:負載均衡、容錯、路由等,集群的地址列表可以是靜態配置的,也可以是由注冊中心下發。
dubbo-registry 注冊中心模塊,基于注冊中心下發地址的集群方式,以及對各種注冊中心的抽象。
dubbo-monitor 監控模塊,統計服務調用次數,調用時間的,調用鏈跟蹤的服務。
dubbo-config 配置模塊,是Dubbo對外的API,用戶通過Config使用Dubbo,隱藏Dubbo所有細節。
dubbo-container 容器模塊,是一個Standalone的容器,以簡單的Main加載Spring啟動,因為服務通常不需要Tomcat/JBoss等Web容器的特性,沒必要用Web容器去加載服務。
服務暴露和消費的詳細過程
(1)服務提供者暴露一個服務的詳細過程
服務提供者暴露服務的主過程:
首先ServiceConfig類拿到對外提供服務的實際類ref(如:HelloWorldImpl),然后通過ProxyFactory類的getInvoker方法使用ref生成一個AbstractProxyInvoker實例,
到這一步就完成具體服務到Invoker的轉化。接下來就是Invoker轉換到Exporter的過程。
Dubbo處理服務暴露的關鍵就在Invoker轉換到Exporter的過程(如上圖中的紅色部分),下面我們以Dubbo和RMI這兩種典型協議的實現來進行說明:
Dubbo的實現
Dubbo協議的Invoker轉為Exporter發生在DubboProtocol類的export方法,它主要是打開socket偵聽服務,并接收客戶端發來的各種請求,通訊細節由Dubbo自己實現。
RMI的實現
RMI協議的Invoker轉為Exporter發生在RmiProtocol類的export方法,
它通過Spring或Dubbo或JDK來實現RMI服務,通訊細節這一塊由JDK底層來實現,這就省了不少工作量。
(2)服務消費者消費一個服務的詳細過程
服務消費的主過程:
首先ReferenceConfig類的init方法調用Protocol的refer方法生成Invoker實例(如上圖中的紅色部分),這是服務消費的關鍵。
接下來把Invoker轉換為客戶端需要的接口(如:HelloWorld)。
整理自?
Dubbo官方文檔
Dubbo架構設計詳解
阿里架構之旅(二)——Dubbo解析
總結
以上是生活随笔為你收集整理的分布式服务框架原理(一)设计和实现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 没有微信支付宝怎么申请健康码
- 下一篇: 有退市风险的股票能买吗 用户会面临更高