nacos 配置_阿里巴巴 Nacos 分布式配置中心原理
動態(tài)配置管理是 Nacos 的三大功能之一,通過動態(tài)配置服務,我們可以在所有環(huán)境中以集中和動態(tài)的方式管理所有應用程序或服務的配置信息。
動態(tài)配置中心可以實現(xiàn)配置更新時無需重新部署應用程序和服務即可使相應的配置信息生效,這極大了增加了系統(tǒng)的運維能力。
動態(tài)配置
下面我將來和大家一起來了解下 Nacos 的動態(tài)配置的能力,看看 Nacos 是如何以簡單、優(yōu)雅、高效的方式管理配置,實現(xiàn)配置的動態(tài)變更的。
我們用一個簡單的例子來了解下 Nacos 的動態(tài)配置的功能。
環(huán)境準備
首先我們要準備一個 Nacos 的服務端,現(xiàn)在有兩種方式獲取 Nacos 的服務端:
1.通過源碼編譯
2.下載 Release 包
兩種方法可以獲得 Nacos 的可執(zhí)行程序,下面我用第一種方式通過源碼編譯一個可執(zhí)行程序,可能有人會問為啥不直接下載 Release 包,還要自己去編譯呢?首先 Release 包也是通過源碼編譯得到的,其次我們通過自己編譯可以了解一些過程也有可能會碰到一些問題,這些都是很重要的經(jīng)驗,好了那我們直接源碼編譯吧。
首先 fork 一份 nacos 的代碼到自己的 github 庫,然后把代碼 clone 到本地。
然后在項目的根目錄下執(zhí)行以下命令(假設我們已經(jīng)配置好了 java 和 maven 環(huán)境):
mvn -Prelease-nacos clean install -U
執(zhí)行成功之后你將會看到如下圖所示的結果:
然后在項目的 distribution 目錄下我們就可以找到可執(zhí)行程序了,包括兩個壓縮包,這兩個壓縮包就是nacos 的 github 官網(wǎng)上發(fā)布的 Release 包。
接下來我們把編譯好的兩個壓縮包拷貝出來,然后解壓出來直接使用,這樣就相當于我們下載了 Release 包了。解壓后文件結構和 nacos-server-0.8.0 一樣,我們直接執(zhí)行 startup.sh 即可啟動一個單機的 Nacos 服務端了。
啟動服務端
執(zhí)行下列命令來啟動一個 Nacos 服務端:
sh startup.sh -m standalone
啟動完你將會看到如下圖所示的結果:
啟動成功后,我們就可以訪問 Nacos 的控制臺了,如下圖所示:
控制臺做了簡單的權限控制,默認的賬號和密碼都是 nacos。
登錄進去之后,是這樣的:
新建配置
接下來我們在控制臺上創(chuàng)建一個簡單的配置項,如下圖所示:
啟動客戶端
當服務端以及配置項都準備好之后,就可以創(chuàng)建客戶端了,如下圖所示新建一個 Nacos 的 ConfigService 來接收數(shù)據(jù):
執(zhí)行后將打印如下信息:
這里我用了一個 System.in.read() 方法來監(jiān)聽輸入的信息,主要是為了防止主線程退出,看不到后續(xù)的結果。
修改配置信息
接下來我們在 Nacos 的控制臺上將我們的配置信息改為如下圖所示:
修改完配置,點擊 “發(fā)布” 按鈕后,客戶端將會收到最新的數(shù)據(jù),如下圖所示:
至此一個簡單的動態(tài)配置管理功能已經(jīng)講完了,刪除配置和更新配置操作類似,這里不再贅述。
適用場景
了解了動態(tài)配置管理的效果之后,我們知道了大概的原理了,Nacos 服務端保存了配置信息,客戶端連接到服務端之后,根據(jù) dataID,group可以獲取到具體的配置信息,當服務端的配置發(fā)生變更時,客戶端會收到通知。當客戶端拿到變更后的最新配置信息后,就可以做自己的處理了,這非常有用,所有需要使用配置的場景都可以通過 Nacos 來進行管理。
可以說 Nacos 有很多的適用場景,包括但不限于以下這些情況:
數(shù)據(jù)庫連接信息
限流規(guī)則和降級開關
流量的動態(tài)調(diào)度
看過我的 Sentinel 系列文章的同學可能知道,其中有一篇專門介紹集群限流環(huán)境搭建的文章,就是通過 Nacos 來創(chuàng)建動態(tài)規(guī)則的。
推還是拉
現(xiàn)在我們了解了 Nacos 的配置管理的功能了,但是有一個問題我們需要弄明白,那就是 Nacos 客戶端是怎么實時獲取到 Nacos 服務端的最新數(shù)據(jù)的。
其實客戶端和服務端之間的數(shù)據(jù)交互,無外乎兩種情況:
服務端推數(shù)據(jù)給客戶端
客戶端從服務端拉數(shù)據(jù)
那到底是推還是拉呢,從 Nacos 客戶端通過 Listener 來接收最新數(shù)據(jù)的這個做法來看,感覺像是服務端推的數(shù)據(jù),但是不能想當然,要想知道答案,最快最準確的方法就是從源碼中去尋找。
創(chuàng)建 ConfigService
從我們的 demo 中可以知道,首先是創(chuàng)建了一個 ConfigService。而 ConfigService 是通過 ConfigFactory 類創(chuàng)建的,如下圖所示:
可以看到實際是通過反射調(diào)用了 NacosConfigService 的構造方法來創(chuàng)建 ConfigService 的,而且是有一個 Properties 參數(shù)的構造方法。
需要注意的是,這里并沒有通過單例或者緩存技術,也就是說每次調(diào)用都會重新創(chuàng)建一個 ConfigService的實例。
實例化 ConfigService
現(xiàn)在我們來看下 NacosConfigService 的構造方法,看看 ConfigService 是怎么實例化的,如下圖所示:
實例化時主要是初始化了兩個對象,他們分別是:
HttpAgent
ClientWorker
HttpAgent
其中 agent 是通過裝飾著模式實現(xiàn)的,ServerHttpAgent 是實際工作的類,MetricsHttpAgent 在內(nèi)部也是調(diào)用了 ServerHttpAgent 的方法,另外加上了一些統(tǒng)計操作,所以我們只需要關心 ServerHttpAgent 的功能就可以了。
agent 實際是在 ClientWorker 中發(fā)揮能力的,下面我們來看下 ClientWorker 類。
ClientWorker
以下是 ClientWorker 的構造方法,如下圖所示:
可以看到 ClientWorker 除了將 HttpAgent 維持在自己內(nèi)部,還創(chuàng)建了兩個線程池:
第一個線程池是只擁有一個線程用來執(zhí)行定時任務的 executor,executor 每隔 10ms 就會執(zhí)行一次 checkConfigInfo() 方法,從方法名上可以知道是每 10 ms 檢查一次配置信息。
第二個線程池是一個普通的線程池,從 ThreadFactory 的名稱可以看到這個線程池是做長輪詢的。
現(xiàn)在讓我們來看下 executor 每 10ms 執(zhí)行的方法到底是干什么的,如下圖所示:
可以看到,checkConfigInfo 方法是取出了一批任務,然后提交給 executorService 線程池去執(zhí)行,執(zhí)行的任務就是 LongPollingRunnable,每個任務都有一個 taskId。
現(xiàn)在我們來看看 LongPollingRunnable 做了什么,主要分為兩部分,第一部分是檢查本地的配置信息,第二部分是獲取服務端的配置信息然后更新到本地。
1.本地檢查
首先取出與該 taskId 相關的 CacheData,然后對 CacheData 進行檢查,包括本地配置檢查和監(jiān)聽器的 md5 檢查,本地檢查主要是做一個故障容錯,當服務端掛掉后,Nacos 客戶端可以從本地的文件系統(tǒng)中獲取相關的配置信息,如下圖所示:
通過跟蹤 checkLocalConfig 方法,可以看到 Nacos 將配置信息保存在了
~/nacos/config/fixed-{address}8848nacos/snapshot/DEFAULT_GROUP/{dataId}
這個文件中,我們看下這個文件中保存的內(nèi)容,如下圖所示:
2.服務端檢查
然后通過 checkUpdateDataIds() 方法從服務端獲取那些值發(fā)生了變化的 dataId 列表,
通過 getServerConfig 方法,根據(jù) dataId 到服務端獲取最新的配置信息,接著將最新的配置信息保存到 CacheData 中。
最后調(diào)用 CacheData 的 checkListenerMd5 方法,可以看到該方法在第一部分也被調(diào)用過,我們需要重點關注一下。
可以看到,在該任務的最后,也就是在 finally 中又重新通過 executorService 提交了本任務。
添加 Listener
好了現(xiàn)在我們可以為 ConfigService 來添加一個 Listener 了,最終是調(diào)用了 ClientWorker 的 addTenantListeners 方法,如下圖所示:
該方法分為兩個部分,首先根據(jù) dataId,group 和當前的場景獲取一個 CacheData 對象,然后將當前要添加的 listener 對象添加到 CacheData 中去。
也就是說 listener 最終是被這里的 CacheData 所持有了,那 listener 的回調(diào)方法 receiveConfigInfo 就應該是在 CacheData 中觸發(fā)的。
我們發(fā)現(xiàn) CacheData 是出現(xiàn)頻率非常高的一個類,在 LongPollingRunnable 的任務中,幾乎所有的方法都圍繞著 CacheData 類,現(xiàn)在添加 Listener 的時候,實際上該 Listener 也被委托給了 CacheData,那我們要重點關注下 CacheData 類了。
CacheData
首先讓我們來看一下 CacheData 中的成員變量,如下圖所示:
可以看到除了 dataId,group,content,taskId 這些跟配置相關的屬性,還有兩個比較重要的屬性:listeners、md5。
listeners 是該 CacheData 所關聯(lián)的所有 listener,不過不是保存的原始的 Listener 對象,而是包裝后的 ManagerListenerWrap 對象,該對象除了持有 Listener 對象,還持有了一個 lastCallMd5 屬性。
另外一個屬性 md5 就是根據(jù)當前對象的 content 計算出來的 md5 值。
觸發(fā)回調(diào)
現(xiàn)在我們對 ConfigService 有了大致的了解了,現(xiàn)在剩下最后一個重要的問題還沒有答案,那就是 ConfigService 的 Listener 是在什么時候觸發(fā)回調(diào)方法 receiveConfigInfo 的。
現(xiàn)在讓我們回過頭來想一下,在 ClientWorker 中的定時任務中,啟動了一個長輪詢的任務:LongPollingRunnable,該任務多次執(zhí)行了 cacheData.checkListenerMd5() 方法,那現(xiàn)在就讓我們來看下這個方法到底做了些什么,如下圖所示:
到這里應該就比較清晰了,該方法會檢查 CacheData 當前的 md5 與 CacheData 持有的所有 Listener 中保存的 md5 的值是否一致,如果不一致,就執(zhí)行一個安全的監(jiān)聽器的通知方法:safeNotifyListener,通知什么呢?我們可以大膽的猜一下,應該是通知 Listener 的使用者,該 Listener 所關注的配置信息已經(jīng)發(fā)生改變了。現(xiàn)在讓我們來看一下 safeNotifyListener 方法,如下圖所示:
可以看到在 safeNotifyListener 方法中,重點關注下紅框中的三行代碼:獲取最新的配置信息,調(diào)用 Listener 的回調(diào)方法,將最新的配置信息作為參數(shù)傳入,這樣 Listener 的使用者就能接收到變更后的配置信息了,最后更新 ListenerWrap 的 md5 值。和我們猜測的一樣, Listener 的回調(diào)方法就是在該方法中觸發(fā)的。
Md5何時變更
那 CacheData 的 md5 值是何時發(fā)生改變的呢?我們可以回想一下,在上面的 LongPollingRunnable 所執(zhí)行的任務中,在獲取服務端發(fā)生變更的配置信息時,將最新的 content 數(shù)據(jù)寫入了 CacheData 中,我們可以看下該方法如下:
可以看到是在長輪詢的任務中,當服務端配置信息發(fā)生變更時,客戶端將最新的數(shù)據(jù)獲取下來之后,保存在了 CacheData 中,同時更新了該 CacheData 的 md5 值,所以當下次執(zhí)行 checkListenerMd5 方法時,就會發(fā)現(xiàn)當前 listener 所持有的 md5 值已經(jīng)和 CacheData 的 md5 值不一樣了,也就意味著服務端的配置信息發(fā)生改變了,這時就需要將最新的數(shù)據(jù)通知給 Listener 的持有者。
至此配置中心的完整流程已經(jīng)分析完畢了,可以發(fā)現(xiàn),Nacos 并不是通過推的方式將服務端最新的配置信息發(fā)送給客戶端的,而是客戶端維護了一個長輪詢的任務,定時去拉取發(fā)生變更的配置信息,然后將最新的數(shù)據(jù)推送給 Listener 的持有者。
拉的優(yōu)勢
客戶端拉取服務端的數(shù)據(jù)與服務端推送數(shù)據(jù)給客戶端相比,優(yōu)勢在哪呢,為什么 Nacos 不設計成主動推送數(shù)據(jù),而是要客戶端去拉取呢?如果用推的方式,服務端需要維持與客戶端的長連接,這樣的話需要耗費大量的資源,并且還需要考慮連接的有效性,例如需要通過心跳來維持兩者之間的連接。而用拉的方式,客戶端只需要通過一個無狀態(tài)的 http 請求即可獲取到服務端的數(shù)據(jù)。
總結
Nacos 服務端創(chuàng)建了相關的配置項后,客戶端就可以進行監(jiān)聽了。
客戶端是通過一個定時任務來檢查自己監(jiān)聽的配置項的數(shù)據(jù)的,一旦服務端的數(shù)據(jù)發(fā)生變化時,客戶端將會獲取到最新的數(shù)據(jù),并將最新的數(shù)據(jù)保存在一個 CacheData 對象中,然后會重新計算 CacheData 的 md5 屬性的值,此時就會對該 CacheData 所綁定的 Listener 觸發(fā) receiveConfigInfo 回調(diào)。
考慮到服務端故障的問題,客戶端將最新數(shù)據(jù)獲取后會保存在本地的 snapshot 文件中,以后會優(yōu)先從文件中獲取配置信息的值。
《新程序員》:云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的nacos 配置_阿里巴巴 Nacos 分布式配置中心原理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python中s和t_Python中关于
- 下一篇: python字符串合并去重_Python