java怎么安装manven_Canal——Canal-Adapter源码在IDEA部署运行
一、下載源碼
我這里用的是canal-1.1.4版本
源碼結(jié)構(gòu)
client-adapter項(xiàng)目就是本次要部署運(yùn)行的
源碼導(dǎo)入到IDEA中的結(jié)構(gòu)如下:
二、安裝配置
找到manven模塊中有root的那個模塊,然后點(diǎn)擊install進(jìn)行安裝
待安裝完成后,會在對應(yīng)的項(xiàng)目的target目錄下產(chǎn)生相應(yīng)的運(yùn)行包,如果不想在開發(fā)工具中運(yùn)行的話,直接拷貝對應(yīng)的包即可。
修改launcher的application.yml配置
es adapter配置
在launcher項(xiàng)目中的配置文件下創(chuàng)建es目錄并加入所需要同步的配置文件
三、運(yùn)行調(diào)試
配置完畢后,直接運(yùn)行l(wèi)auncher這個springBoot項(xiàng)目即可,也就是運(yùn)行CanalAdapterApplication這個類就可以了。
當(dāng)看日志提示啟動成功后就代表啟動成功了!
四、測試驗(yàn)證
增量同步測試跟canal-adapter安裝包部署運(yùn)行一樣,這里主要介紹及測試一下條件同步和全量同步功能,即etl功能。
launcher項(xiàng)目是一個spring boot項(xiàng)目,在其中的rest包下有一個controller類(CommonRest.java),里面提供了一些接口,其中一個用于全量同步數(shù)據(jù)的接口
canal全量同步
我們按照注釋的內(nèi)容發(fā)送一個http請求即可:
canal_db1.yml為es目錄下的配置文件,運(yùn)行后出現(xiàn)以下提示信息,就可以讓canal_db1.yml配置的數(shù)據(jù)表的所有數(shù)據(jù)全同步到es中了
在kibana中查看數(shù)據(jù)是否已經(jīng)生成:
canal條件同步
如果想執(zhí)行從某一個時(shí)刻的數(shù)據(jù)同步,在上面的測試URL后加上對應(yīng)的參數(shù)就可以了
其參數(shù)由es的配置項(xiàng)決定的,以下截圖的配置文件中的etlCondition:
五、修改源碼
以下代碼增加了從索引模板中獲取mapping的處理邏輯:
重新編譯打包:
在項(xiàng)目的target目錄下,會生成編譯后的包,我這里修改的是es相關(guān)的,路徑如下:
更新到canal-adapter的plugin目錄下,重新服務(wù)就可以了。
總結(jié)
以上是生活随笔為你收集整理的java怎么安装manven_Canal——Canal-Adapter源码在IDEA部署运行的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 北京环球度假区会场歌曲
- 下一篇: mysql read only参数_My