前沪江高级架构师学习笔记分享:分布式框架设计与实现
1.分布式服務框架設計
分布式服務框架一般可以分為以下幾個部分,
(1)RPC基礎層:
包括底層通信框架,如NIO框架、通信協議,序列化和反序列化協議,
以及在這幾部分上的封裝,屏蔽底層通信細節和序列化方式差異
(2)服務發布/消費:
服務提供者根據消費者請求消息中的接口名,方法名,參數列表等信息,通過Java反射,調用本地的接口實現類;
服務消費者將服務提供者發布的接口封裝成遠程服務調用;
(3)服務調用鏈:
在服務調用的職責鏈中,通過在調用鏈切面的編碼完成相關的監控和擴展,如負載均衡,服務調用性能統計,調用完成通知,
失敗重發等功能
(4)服務注冊中心:
注冊中心負責服務的發布和通知,需要支持服務的平滑上線下線等
(5)服務治理中心:
服務治理中心是一個可視化的模塊,提供對服務的可視化分析和維護,包括服務運行狀態,調用關系和健康度等
下面以Dubbo為例來分析分布式服務框架的結構。
2.Dubbo的設計角色
(1)系統角色
Provider: 暴露服務的服務提供方。
Consumer: 調用遠程服務的服務消費方。
Registry: 服務注冊與發現的注冊中心。
Monitor: 統計服務的調用次調和調用時間的監控中心。
Container: 服務運行容器。
(2)調用關系
服務容器負責啟動,加載,運行服務提供者。
服務提供者在啟動時,向注冊中心注冊自己提供的服務。
服務消費者在啟動時,向注冊中心訂閱自己所需的服務。
注冊中心返回服務提供者地址列表給消費者,如果有變更,注冊中心將基于長連接推送變更數據給消費者。
服務消費者,從提供者地址列表中,基于軟負載均衡算法,選一臺提供者進行調用,如果調用失敗,再選另一臺調用。
服務消費者和提供者,在內存中累計調用次數和調用時間,定時每分鐘發送一次統計數據到監控中心
3.Dubbo是如何架構的
Dubbo的總體架構如圖所示:
框架分層架構中,各個層次的設計要點:
數據序列化層(Serialize):可復用的一些工具,擴展接口為Serialization、
ObjectInput、ObjectOutput和ThreadPool。推薦一個交流學習群:478030634 里面會分享一些資深架構師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發、高性能、分布式、微服務架構的原理,JVM性能優化這些成為架構師必備的知識體系。還能領取免費的學習資源,目前受益良多:
4.Dubbo的底層實現
(1)協議支持
Dubbo支持多種協議,如下所示:
- Dubbo協議 Hessian協議
- HTTP協議 RMI協議
- WebService協議
Thrift協議 Memcached協議 Redis協議
在通信過程中,不同的服務等級一般對應著不同的服務質量,那么選擇合適的協議便是一件非常重要的事情。你可以根據你應用的創建來選擇。例如,使用RMI協議,一般會受到防火墻的限制,所以對于外部與內部進行通信的場景,就不要使用RMI協議,而是基于HTTP協議或者Hessian協議。
(2)默認使用Dubbo協議
連接個數:單連接
連接方式:長連接
傳輸協議:TCP
傳輸方式:NIO異步傳輸
序列化:Hessian二進制序列化
適用范圍:傳入傳出參數數據包較小(建議小于100K),消費者比提供者個數多,單一消費者無法壓滿提供者,盡量不要使用dubbo協議傳輸大文件或超大字符串
使用場景:常規遠程服務方法調用
從上面的適用范圍總結,dubbo適合小數據量大并發的服務調用,以及消費者機器遠大于生產者機器數的情況,不適合傳輸大數據量的服務比如文件、視頻等,除非請求量很低。
(3)Dubbo源碼模塊圖
Dubbo以包結構來組織各個模塊,各個模塊及其關系,如圖所示:
可以通過Dubbo的代碼(使用Maven管理)組織,與上面的模塊進行比較。簡單說明各個包的情況:
- dubbo-common 公共邏輯模塊,包括Util類和通用模型。
- dubbo-remoting 遠程通訊模塊,相當于Dubbo協議的實現,如果RPC用RMI協議則不需要使用此包。
- dubbo-rpc 遠程調用模塊,抽象各種協議,以及動態代理,只包含一對一的調用,不關心集群的管理。
- dubbo-cluster
集群模塊,將多個服務提供方偽裝為一個提供方,包括:負載均衡、容錯、路由等,集群的地址列表可以是靜態配置的,也可以是由注冊中心下發。 - dubbo-registry 注冊中心模塊,基于注冊中心下發地址的集群方式,以及對各種注冊中心的抽象。
- dubbo-monitor 監控模塊,統計服務調用次數,調用時間的,調用鏈跟蹤的服務。
- dubbo-config 配置模塊,是Dubbo對外的API,用戶通過Config使用Dubbo,隱藏Dubbo所有細節。
- dubbo-container
容器模塊,是一個Standalone的容器,以簡單的Main加載Spring啟動,因為服務通常不需要Tomcat/JBoss等Web容器的特性,沒必要用Web容器去加載服務。
5.服務暴露和消費的詳細過程
(1)服務提供者暴露一個服務的詳細過程
服務提供者暴露服務的主過程:
首先ServiceConfig類拿到對外提供服務的實際類ref(如:HelloWorldImpl),然后通過ProxyFactory類的getInvoker方法使用ref生成一個AbstractProxyInvoker實例,
到這一步就完成具體服務到Invoker的轉化。接下來就是Invoker轉換到Exporter的過程。
Dubbo處理服務暴露的關鍵就在Invoker轉換到Exporter的過程(如上圖中的紅色部分),下面我們以Dubbo和RMI這兩種典型協議的實現來進行說明:
Dubbo的實現
Dubbo協議的Invoker轉為Exporter發生在DubboProtocol類的export方法,它主要是打開socket偵聽服務,并接收客戶端發來的各種請求,通訊細節由Dubbo自己實現。
RMI的實現
RMI協議的Invoker轉為Exporter發生在RmiProtocol類的export方法,
它通過Spring或Dubbo或JDK來實現RMI服務,通訊細節這一塊由JDK底層來實現,這就省了不少工作量。
(2)服務消費者消費一個服務的詳細過程
服務消費的主過程:
首先ReferenceConfig類的init方法調用Protocol的refer方法生成Invoker實例(如上圖中的紅色部分),這是服務消費的關鍵。
接下來把Invoker轉換為客戶端需要的接口(如:HelloWorld)。
總結
以上是生活随笔為你收集整理的前沪江高级架构师学习笔记分享:分布式框架设计与实现的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Laravel 学习开篇
- 下一篇: 16.1 Tomcat介绍16.2 安装