一、問題描述

? ? ? ?2019-02-19 08:44左右，實時計算服務(wù)重啟，報錯顯示找不到zk集群的leader節(jié)點，同時ZooKeeper集群有告警顯示連接超時：

　　指標(biāo)[連接耗時(ms)=18221]符合告警規(guī)則[連接耗時(ms)>=3000]

?

二、排查過程

查看當(dāng)前集群狀態(tài)，集群狀態(tài)正常，查看報“連接超時”的zk節(jié)點日志，發(fā)現(xiàn)有shutdown情況，表明作為follower的zk server在一段時間內(nèi)會停止工作；

? ? ? ? ??

? ? ?2. 繼續(xù)查看zk運行日志，發(fā)現(xiàn)有大量的fsync的告警，說明ZooKeeper將數(shù)據(jù)存入磁盤慢，導(dǎo)致ZooKeeper節(jié)點間心跳超時，進而ZooKeeper實例異常；
? ? ? ?

? ? 3.? 查看磁盤劃分情況和zk data路徑，發(fā)現(xiàn)zk數(shù)據(jù)盤沒有單獨劃分，而且機器是老機器，zk數(shù)據(jù)量增大，磁盤IO性能跟不上；

? ? ? ?

? ? ? ?? ? ? ??

三、根因分析

“FOLLOWER”在跟“LEADER”同步時，fsync操作時間過長，導(dǎo)致超時。

四、解決方法

根本解決： 掛載新的磁盤到zk節(jié)點機器上，提高磁盤IO性能，根本上解決fsync超時問題；

? ? ? ? ?2. 臨時規(guī)避： 增大zk中tickTime、syncLimit?配置參數(shù)，需要重啟節(jié)點，可以一臺一臺操作。

轉(zhuǎn)載于:https://www.cnblogs.com/lwhctv/p/10408295.html

總結(jié)

以上是生活随笔為你收集整理的Zookeeper：fsync超时导致实例异常的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。