zookeeper 运维
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
當(dāng)配置偽集群有3臺服務(wù)實(shí)例時(shí),只啟動2臺集群依然能夠起來!因?yàn)檫_(dá)到了過半有效策略。
zoo.cfg
配置類->??集群:?QuorumPeerConfig; 單機(jī): ServerConfig.
?
- electionAlg:?選舉方法 默認(rèn)3 FastLeaderElection ; 1 LeaderElection; 2 AuthFastLeaderElection
- tickTime=2000: ?ZK中的一個(gè)毫秒時(shí)間單元。ZK中所有時(shí)間都是以這個(gè)時(shí)間單元為基礎(chǔ),進(jìn)行整數(shù)倍配置的。默認(rèn)3000
- initLimit=10: ??Leader接收集群確認(rèn)NEWLEADER返回ack信息(Leader.waitForNewLeaderAck) 、 leader同步集群的選舉周期epoch(Leader.getEpochToPropose) 時(shí)最長能忍受的心跳時(shí)間間隔數(shù)。
- syncLimit=5 :標(biāo)識 Leader 與 Follower 之間發(fā)送消息請求和應(yīng)答最長時(shí)間數(shù)。運(yùn)行過程中,Leader負(fù)責(zé)與ZK集群中所有機(jī)器進(jìn)行通信。 eg: 通過心跳檢測機(jī)制,來檢測機(jī)器的存活狀態(tài)。
- dataDir=D:/Zookeeper_cluster/zookeeper-1/run/data:?Zk 保存數(shù)據(jù)的目錄
- dataLogDir=D:/Zookeeper_cluster/zookeeper-1/run/log :??Zk 保存日志的目錄。默認(rèn)與dataDir一致。?盡量給事務(wù)日志的輸出配置單獨(dú)的磁盤或是掛載點(diǎn),將極大的提升ZK性能
- clientPort=2181 : ?客戶端連接的端口
- maxClientCnxns=60 : 最大客戶端并發(fā)連接數(shù)
-
autopurge.snapRetainCount=3:?設(shè)置保留多少個(gè)snapshot,之前的則刪除
autopurge.purgeInterval=1:?設(shè)置多少小時(shí)清理一次數(shù)據(jù)。
- group.X=n:n:n : 對機(jī)器分組(X標(biāo)識groupId, n 標(biāo)識集群中的服務(wù)myid。都是數(shù)值類型)。 組必須是不相交的, 并且所有組聯(lián)合后必須是 ZooKeeper 集群。 eg.?group.1=1:2:3、group.2=4:5:6
- weight.X=6 :?機(jī)器權(quán)重設(shè)置 。( X標(biāo)識集群中的服務(wù)myid) eg.?weight.1=1、?weight.2=1
- peerType :? 代表實(shí)例角色。默認(rèn)是PARTICIPANT。觀察者為OBSERVER。
- server.X=A:B:C[:D]:
- X: 一個(gè)數(shù)值表示第幾號服務(wù)器;集群模式需在 dataDir 目錄下配置一個(gè)文件?myid,該文件只有一個(gè)數(shù)據(jù)就是 X 的值,Zookeeper 啟動時(shí)會讀取文件判定是哪個(gè)服務(wù)器;
- A: 服務(wù)器的 ip 地址 (在/etc/hosts文件中設(shè)置了<IP, hostName>映射后可設(shè)為hostName);
- B: 當(dāng)前服務(wù)器與集群中的 Leader 交換信息的端口;
- C: 用來執(zhí)行選舉時(shí)服務(wù)器相互通信的端口。
- D:? ?可選項(xiàng)。默認(rèn)標(biāo)識服務(wù)實(shí)例類型為PARTICIPANT。觀察者設(shè)置為OBSERVER。校驗(yàn)并覆蓋peerType的值。
系統(tǒng)屬性:
zookeeper.skipACL: ?對所有客戶端請求都不作ACL檢查。即使之前節(jié)點(diǎn)上設(shè)置有權(quán)限限制,開啟后也失效。? 見:PrepRequestProcessor
zookeeper.forceSync:?定了寫進(jìn)去的數(shù)據(jù)是否應(yīng)該sync到磁盤。默認(rèn)值為yes,在數(shù)據(jù)被sync到磁盤之前,事務(wù)對應(yīng)的ack不會被發(fā)送回leader。? 見:FileTxnLog
jute.maxbuffer:代表了一個(gè)請求或響應(yīng)最大的字節(jié)數(shù)。默認(rèn)4MB。 見:?ClientCnxn
readonlymode.enabled:?開啟只讀模式,只接受client的read操作。見:?QuorumPeer、ServerCnxn
經(jīng)驗(yàn)。
1、最小生產(chǎn)集群
要確保Zookeeper能夠穩(wěn)定運(yùn)行,那么就需要確保投票能夠正常進(jìn)行,最好不要掛一個(gè)節(jié)點(diǎn)整個(gè)就不work了,所以一般要求最少5個(gè)節(jié)點(diǎn)部署,3個(gè)節(jié)點(diǎn)就只能掛1個(gè)了。
2、分Group,保護(hù)核心Group
將一個(gè)Zookeeper集群劃分為多個(gè)小的Group,稱Leader+Follower為核心Group,核心Group一般是不向外提供服務(wù)的,然后會根據(jù)不同的業(yè)務(wù)再加一些Observer,而Client只會連接分配給它的Observer Group,不去連接核心Group。這樣核心Group就不會給Client提供長連接服務(wù),也不負(fù)責(zé)長連接的心跳,這大大的減輕了核心Group的壓力。對于寫操作比較大的,需要按業(yè)務(wù)分離成多個(gè)集群。
3、日志清理
Zookeeper要頻繁的寫txlog以及定期dump內(nèi)存snapshot到磁盤。雖然Zookeeper提供了清理這些文件的機(jī)制,但只能設(shè)置事件間隔清理,而不能設(shè)置具體的時(shí)間段。
所以建議將其關(guān)閉:autopurge.purgeInterval=0,然后使用crontab等機(jī)制,在業(yè)務(wù)低谷的時(shí)候清理。
4、默認(rèn)日志zookeeper.out
默認(rèn)的配置日志是不會輪轉(zhuǎn)的,而且是直接輸出到終端zookeeper.out 。Zookeeper會加載conf文件夾下一個(gè)名為zookeeper-env.sh的腳本(zkServer.sh 調(diào)用 zkEnv.sh,zkEnv.sh 調(diào)用?zookeeper-env.sh???),所以可以寫入定制化的配置:
#!/usr/bin/env bashJAVA_HOME= #java homeZOO_LOG_DIR= #日志文件放置的路徑ZOO_LOG4J_PROP="INFO,ROLLINGFILE" #設(shè)置日志輪轉(zhuǎn)JVMFLAGS="jvm的一些設(shè)置,比如堆大小,開gc log等"5、地址
可以在/etc/hosts中設(shè)置hostName。zoo.cfg中配置hostName,若遷移直接修改hosts文件,還需要修改$JAVA_HOME/jre/lib/security/java.security文件里的networkaddress.cache.ttl=60,將其修改為一個(gè)比較小的數(shù),刷新緩存。
轉(zhuǎn)載于:https://my.oschina.net/u/3434392/blog/1475253
總結(jié)
以上是生活随笔為你收集整理的zookeeper 运维的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Vim技能修炼教程(16) - 浮点数计
- 下一篇: 「POJ 1135」Domino Eff