記錄一下canal的問題。數(shù)據(jù)同步一直使用阿里開源的canal，最近使用過程中遇到一些問題，在這里記錄一下。

原因

我們使用canal監(jiān)聽MySQL，然后通過client獲取發(fā)送到mq（自定義格式）。最近數(shù)據(jù)組的同事批量更新了一次數(shù)據(jù)，大概800多萬，導致了client發(fā)生oom，消費不了。

解決方案

修改server端的filter，將監(jiān)聽的表去掉，這樣client就不會再獲取到這張表的數(shù)據(jù)了，避免client大量獲取server端的數(shù)據(jù)。（其實根本問題在于client寫的比較粗糙，目前這種方法在不修改源碼的基礎(chǔ)上能很好的解決目前的問題，后續(xù)再對client進行調(diào)整優(yōu)化）

我們自己做了一些自定義的管理，可以實時修改instance.properties這個文件。而且canal server開啟了auto scan之后會自動掃描配置更改自動重啟。

總結(jié)

以上是生活随笔為你收集整理的Canal数据堆积的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。