本文內容

• 背景
• ES集群中第一個master節點
• ES slave節點

本文總結 Elasticsearch（以下簡稱ES）搭建集群的經驗。以 Elasticsearch-rtf-2.2.1 版本為例。

我搭過三個集群：研究ELK時搭了一個；測試環境搭了一個；生產環境搭了一個。回想起來，搭建這三個集群時遇到的問題都不一樣（我這么說，主要針對集群中節點發現，以及master問題，而不是es啟動不起來或報錯等問題）~

• 研究ELK時，搭建ES集群倒是很順利，原因很簡單，先從一臺機器開始的；
• 可是測試環境搭建集群時，遭遇新加入節點一直不能發現 master 節點，或是集群節點出現都選舉自己為 master 這兩個情況，因為，節點都是陸續啟動的，配置不當，是會出問題；
• 等到在生產環境搭建集群時，遭遇無法選舉出 master 節點的情況。ES head 和 kopf 兩個插件都不可用，因為，既然集群沒有選舉出 master 節點，顯然，整個集群是用不了的。而前面的情況，head 和 kopf 插件還是能用的，但能用，意義也不大~

總結起來，搭建集群，應該注意兩個問題。首先，當然是 Elasticsearch.yml 配置是否正確；再就是你的操作方式。比如節點啟動步驟等。

因為，如果搭建一個集群，那么必須保證集群有一個 master 節點，一般來說，第一個啟動的節點，一定是 master。然后，分別啟動其他節點，這些節點就會找到 master 節點，而 master 節點，也會發現這些節點。

• 因此，配置集群中的第一個master節點，務必簡單（簡單到什么程度，后面再說），先啟動它，它會立刻成為 master 節點。之后，再配置其他節點，最好直接告訴它們，可能的 master 節點是什么，然后啟動他們，它們就會發現 master，而 master 節點，也會發現新加入的節點。
• 否則，如果第一個啟動的節點，配置過于復雜（條件苛刻），造成它不能成為 master 節點，那么，整個集群會失敗。

稍后，你再配置節點時，可以采用更高級、復雜點的配置，就不會有什么問題了~

所以，我才強調，ES 集群中第一個 master 節點的配置務必簡單，以后再調整。

背景

---

假設，我們想搭建這樣一個名為 myfirstcluster 的ES集群，它有兩個節點：

節點	主機名	是否為 master
192.168.1.2	es-01	是
192.168.1.3	es-02	否

ES集群中第一個master節點

---

最簡單的 ES master 節點配置如下。該配置文件，是一個完整的 ES 配置文件，所以很長。我順便翻譯成了中文。

1: # ======================== Elasticsearch Configuration ========================= 3: # 注意: Elasticsearch 大多數設置都有默認值. 5: # 7: # 9: # <http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html> 11: # ---------------------------------- 集群 ----------------------------------- 13: # 集群名稱: 15: cluster.name: mycluster 17: # ------------------------------------ 節點 ------------------------------------ 19: # 節點名稱: 21: node.name: es-01 23: node.data: true 25: # 為節點添加自定義屬性，如機架: 27: # node.rack: r1 29: # ----------------------------------- 路徑 ------------------------------------ 31: # 存放數據的目錄 (多個目錄用逗號分隔): 33: # path.data: /path/to/data 35: # 日志文件目錄: 37: # path.logs: /path/to/logs 39: # ----------------------------------- 內存 ----------------------------------- 41: # 啟動時鎖定內存: 43: # bootstrap.mlockall: true 45: # 確保設置了 `ES_HEAP_SIZE` 環境變量, 大小為系統內存的一半, 47: # 49: # 51: # 53: # 55: # 57: http.port: 9200 59: tcp.port: 9300 61: # 更多信息, 參見如下鏈接: http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-network.html> 64: # --------------------------------- 節點發現 ---------------------------------- 66: # 當新節點加入時，傳遞一個主機的初始化列表以完成節點發現: 68: # 70: # 72: # 74: # 76: # <http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-discovery.html> 78: # ---------------------------------- 網關 ----------------------------------- 80: # 當整個集群重新啟動后, 只有 N 個節點啟動了, 集群才會恢復，否則將阻塞: 82: # gateway.recover_after_nodes: 2 84: # 更多信息, 參見如下鏈接: http://www.elastic.co/guide/en/elasticsearch/reference/current/modules-gateway.html> 87: # ---------------------------------- 其他 ----------------------------------- 89: # 禁止在一個系統上啟動多個節點: 91: # node.max_local_storage_nodes: 1 93: # 當刪除 index 是必需顯式名稱: 95: # action.destructive_requires_name: true 96:? 98: analysis: 100: my_pinyin: 102: first_letter: prefix 104: pinyin_first_letter: 106: first_letter: only 108: type: mmseg 110: mmseg_complex: 112: seg_type: complex 114: type: mmseg 116: semicolon_spliter: 118: pattern: ";" 120: type: pattern 122: ngram_1_to_2: 124: min_gram: 1 126: ngram_1_to_3: 128: min_gram: 1 130: filter: 132: max_gram: 10 134: type: nGram 136: max_gram: 10 138: type: nGram 140: max_gram: 10 142: type: nGram 144: min: 2 146: type: length 148: min: 3 150: type: length 152: type: pinyin 154: analyzer: 156: type: custom 158: - lowercase 160: lowercase_keyword_ngram_min_size1: 162: filter: 164: - stop 166: - unique 168: lowercase_keyword_ngram_min_size2: 170: filter: 172: - min2_length 174: - trim 176: tokenizer: nGram 178: type: custom 180: - lowercase 182: - stop 184: - unique 186: lowercase_keyword_ngram: 188: filter: 190: - stop 192: - unique 194: lowercase_keyword_without_standard: 196: filter: 198: tokenizer: keyword 200: type: custom 202: - lowercase 204: ik: 206: - ik_analyzer 208: ik_max_word: 210: use_smart: true 212: type: ik 214: mmseg: 216: - mmseg_analyzer 218: mmseg_maxword: 220: filter: 222: tokenizer: mmseg_maxword 224: type: custom 226: - lowercase 228: mmseg_simple: 230: filter: 232: tokenizer: mmseg_simple 234: type: pattern 236: pct_spliter: 238: pattern: "[%]+" 240: type: snowball 242: simple_english_analyzer: 244: tokenizer: whitespace 246: - standard 248: - snowball 250: type: custom 252: filter: 254: pinyin_ngram_analyzer: 256: tokenizer: my_pinyin 258: - lowercase 260: - trim 262: pinyin_first_letter_analyzer: 264: tokenizer: pinyin_first_letter 266: - standard 268: pinyin_first_letter_keyword_analyzer: 270: - pinyin_first_letter_analyzer_keyword 272: tokenizer: keyword 274: - pinyin_first_letter 276: path_analyzer: #used for tokenize :/something/something/else 278: tokenizer: path_hierarchy 279:? 281: index.analysis.analyzer.default.type: ik 282:? 284: # rtf.filter.redis.port: 6379

說明：

• 第15行，指定集群名稱 myfirstcluster；
• 第21行，指定節點名稱，最好寫主機名；
• 第22和23行，指定該是否可能為master節點，以及是否為數據節點。ES的所說master節點，其實弱化了很多，僅僅就是為了節點發現和選舉master節點而已，它甚至都可以不用來保存數據。

因此，看你的規劃，完全可以讓一個 master 節點，不保存任何數據；

• 第54行，指定節點IP地址，192.168.1.2；
• 第57行，指定HTTP端口，比如，head、kopf插件等插件，都使用該端口。事實上，你可以指定從 92開頭的任何端口；
• 第59行，指定集群內部通信的端口，比如，節點發現都使用該端口。事實上，你可以指定93開頭的任何端口，該行也可以寫成“transport.tcp.port: 9300”；

這7行配置，在我看來，針對集群中第一個master節點，必須配置正確的。其他配置，可以暫時不用。

其中，第57行和第59行，實際上，一臺物理機，是可以運行多個 ES，只需要指定不同的配置文件即可。

• 第69行，指定節點初始化列表，因為該節點是集群第一臺機器，并且要當 master，所以寫”127.0.0.1:9300”，端口號，就是你在第59行指定的端口。相關資料顯示，也可以不指定端口，那是不是會93開頭的所有端口掃描一下呢？；
• 從97行開始，是配置ES的分詞。

slave 節點

---

Slave 節點配置如下。該配置文件內容只列出了配置項，但是是完整的。

1: # ======================== Elasticsearch Configuration ========================= 3: # ---------------------------------- Cluster ----------------------------------- 5: # Use a descriptive name for your cluster: 7: cluster.name: myfirstcluster 9: # ------------------------------------ Node ------------------------------------ 11: # Use a descriptive name for the node: 13: node.name: es-02 15: node.data: true 17: # ----------------------------------- Paths ------------------------------------ 19: # Path to directory where to store the data (separate multiple locations by comma): 21: # path.data: /path/to/data 23: # Path to log files: 25: # path.logs: /path/to/logs 27: # ----------------------------------- Memory ----------------------------------- 29: # ... 31: # ---------------------------------- Network ----------------------------------- 33: # Set the bind address to a specific IP (IPv4 or IPv6): 35: network.host: 192.168.1.3 37: # Set a custom port for HTTP: 39: http.port: 9200 41: # 43: # 45: # The default list of hosts is ["127.0.0.1", "[::1]"] 47: discovery.zen.ping.unicast.hosts: ["192.168.1.2:9300"] 49: # ---------------------------------- Gateway ----------------------------------- 51: # ... 53: # ---------------------------------- Various ----------------------------------- 55:? 57: analysis: 59: my_pinyin: 61: first_letter: prefix 63: pinyin_first_letter: 65: first_letter: only 67: type: mmseg 69: mmseg_complex: 71: seg_type: complex 73: type: mmseg 75: semicolon_spliter: 77: pattern: ";" 79: type: pattern 81: ngram_1_to_2: 83: min_gram: 1 85: ngram_1_to_3: 87: min_gram: 1 89: filter: 91: max_gram: 10 93: type: nGram 95: max_gram: 10 97: type: nGram 99: max_gram: 10 101: type: nGram 103: min: 2 105: type: length 107: min: 3 109: type: length 111: type: pinyin 113: analyzer: 115: type: custom 117: - lowercase 119: lowercase_keyword_ngram_min_size1: 121: filter: 123: - stop 125: - unique 127: lowercase_keyword_ngram_min_size2: 129: filter: 131: - min2_length 133: - trim 135: tokenizer: nGram 137: type: custom 139: - lowercase 141: - stop 143: - unique 145: lowercase_keyword_ngram: 147: filter: 149: - stop 151: - unique 153: lowercase_keyword_without_standard: 155: filter: 157: tokenizer: keyword 159: type: custom 161: - lowercase 163: ik: 165: - ik_analyzer 167: ik_max_word: 169: use_smart: false 171: type: ik 173: mmseg: 175: - mmseg_analyzer 177: mmseg_maxword: 179: filter: 181: tokenizer: mmseg_maxword 183: type: custom 185: - lowercase 187: mmseg_simple: 189: filter: 191: tokenizer: mmseg_simple 193: type: pattern 195: pct_spliter: 197: pattern: "[%]+" 199: type: snowball 201: simple_english_analyzer: 203: tokenizer: whitespace 205: - standard 207: - snowball 209: type: custom 211: filter: 213: pinyin_ngram_analyzer: 215: tokenizer: my_pinyin 217: - lowercase 219: - trim 221: pinyin_first_letter_analyzer: 223: tokenizer: pinyin_first_letter 225: - standard 227: pinyin_first_letter_keyword_analyzer: 229: - pinyin_first_letter_analyzer_keyword 231: tokenizer: keyword 233: - pinyin_first_letter 235: path_analyzer: #used for tokenize :/something/something/else 237: tokenizer: path_hierarchy 238:? 240: index.analysis.analyzer.default.type: ik

說明：

• 第7行，也是指定了集群名稱；
• 第13行，指定了節點名稱為 es-02（主機名）
• 第14和15行，指定了該節點可能成為 master 節點，還可以是數據節點；
• 第35行，指定節點IP地址為 192.168.1.3；
• 第39行，指定http端口，你使用head、kopf等相關插件使用的端口；
• 第40行，集群內部通信端口，用于節點發現等；

上面的配置master也是這么配置的。

• 第47行，跟master節點配置不一樣了。這里直接告訴該的節點，可能的master節點是什么。

?

?

文章摘自：http://www.cnblogs.com/liuning8023/p/5454696.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的ELK 中的elasticsearch 集群的部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。