2021年大数据ELK(六):安装Elasticsearch
全網(wǎng)最詳細(xì)的大數(shù)據(jù)ELK文章系列,強(qiáng)烈建議收藏加關(guān)注!?
新文章都已經(jīng)列出歷史文章目錄,幫助大家回顧前面的知識(shí)重點(diǎn)。
目錄
系列歷史文章
安裝Elasticsearch
一、創(chuàng)建普通用戶
二、為普通用戶添加sudo權(quán)限
三、上傳壓縮包并解壓
四、修改配置文件
1、修改elasticsearch.yml
2、修改jvm.option
五、將安裝包分發(fā)到其他服務(wù)器上面
六、node2與node3修改es配置文件
七、修改系統(tǒng)配置,解決啟動(dòng)時(shí)候的問(wèn)題
1、普通用戶打開(kāi)文件的最大數(shù)限制
2、普通用戶啟動(dòng)線程數(shù)限制
3、普通用戶調(diào)大虛擬內(nèi)存
八、啟動(dòng)ES服務(wù)
系列歷史文章
2021年大數(shù)據(jù)ELK(六):安裝Elasticsearch
2021年大數(shù)據(jù)ELK(五):Elasticsearch中的核心概念
2021年大數(shù)據(jù)ELK(四):Lucene的美文搜索案例
2021年大數(shù)據(jù)ELK(三):Lucene全文檢索庫(kù)介紹
2021年大數(shù)據(jù)ELK(二):?Elasticsearch簡(jiǎn)單介紹
2021年大數(shù)據(jù)ELK(一):集中式日志協(xié)議棧Elastic Stack簡(jiǎn)介
安裝Elasticsearch
一、創(chuàng)建普通用戶
ES不能使用root用戶來(lái)啟動(dòng),必須使用普通用戶來(lái)安裝啟動(dòng)。這里我們創(chuàng)建一個(gè)普通用戶以及定義一些常規(guī)目錄用于存放我們的數(shù)據(jù)文件以及安裝包等。
創(chuàng)建一個(gè)es專門的用戶(必須)
# 使用root用戶在三臺(tái)機(jī)器執(zhí)行以下命令
useradd lanson
passwd lanson
二、為普通用戶添加sudo權(quán)限
為了讓普通用戶有更大的操作權(quán)限,我們一般都會(huì)給普通用戶設(shè)置sudo權(quán)限,方便普通用戶的操作
三臺(tái)機(jī)器使用root用戶執(zhí)行visudo命令然后為es用戶添加權(quán)限
visudo
# 第100行
lanson ALL=(ALL) ALL
三、上傳壓縮包并解壓
以下操作 使用root用戶es的相關(guān)的目錄,?三臺(tái)虛擬機(jī)都需要?jiǎng)?chuàng)建
# 在node1、node2、node3創(chuàng)建es文件夾,并修改owner為lanson用戶
mkdir -p /export/server/es
chown -R lanson:lanson /export/server/es
將es的安裝包下載并上傳到node1.服務(wù)器的/export/software路徑下,然后進(jìn)行解壓
使用lanson用戶來(lái)執(zhí)行以下操作,將es安裝包上傳到node1服務(wù)器,并使用es用戶執(zhí)行以下命令解壓。
# 解壓Elasticsearch
cd /export/software/
tar -zvxf elasticsearch-7.6.1-linux-x86_64.tar.gz -C /export/server/es/
四、修改配置文件
1、修改elasticsearch.yml
node1服務(wù)器使用lanson用戶來(lái)修改配置文件
cd /export/server/es/elasticsearch-7.6.1/config
mkdir -p /export/server/es/elasticsearch-7.6.1/log
mkdir -p /export/server/es/elasticsearch-7.6.1/data
rm -rf elasticsearch.ymlvim elasticsearch.yml
cluster.name: lanson-es
node.name: node1
path.data: /export/server/es/elasticsearch-7.6.1/data
path.logs: /export/server/es/elasticsearch-7.6.1/log
network.host: node1
http.port: 9200
discovery.seed_hosts: ["node1", "node2", "node3"]
cluster.initial_master_nodes: ["node1", "node2"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
2、修改jvm.option
修改jvm.option配置文件,調(diào)整jvm堆內(nèi)存大小
node1使用lanson用戶執(zhí)行以下命令調(diào)整jvm堆內(nèi)存大小,每個(gè)人根據(jù)自己服務(wù)器的內(nèi)存大小來(lái)進(jìn)行調(diào)整。
cd /export/server/es/elasticsearch-7.6.1/config
vim jvm.options
-Xms2g
-Xmx2g
五、將安裝包分發(fā)到其他服務(wù)器上面
node1使用lanson用戶將安裝包分發(fā)到其他服務(wù)器上面去
cd /export/server/es/
scp -r elasticsearch-7.6.1/ node2:$PWD
scp -r elasticsearch-7.6.1/ node3:$PWD
六、node2與node3修改es配置文件
node與node3也需要修改es配置文件
node2使用lanson用戶執(zhí)行以下命令修改es配置文件
cd /export/server/es/elasticsearch-7.6.1/config
mkdir -p /export/server/es/elasticsearch-7.6.1/log
mkdir -p /export/server/es/elasticsearch-7.6.1/datavim elasticsearch.yml
cluster.name: lanson-es
node.name: node2
path.data: /export/server/es/elasticsearch-7.6.1/data
path.logs: /export/server/es/elasticsearch-7.6.1/log
network.host: node2
http.port: 9200
discovery.seed_hosts: ["node1", "node2", "node3"]
cluster.initial_master_nodes: ["node1", "node2"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
node3使用lanson用戶執(zhí)行以下命令修改配置文件
cd /export/server/es/elasticsearch-7.6.1/config
mkdir -p /export/server/es/elasticsearch-7.6.1/log
mkdir -p /export/server/es/elasticsearch-7.6.1/datavim elasticsearch.yml
cluster.name: lanson-es
node.name: node3
path.data: /export/server/es/elasticsearch-7.6.1/data
path.logs: /export/server/es/elasticsearch-7.6.1/log
network.host: node3
http.port: 9200
discovery.seed_hosts: ["node1", "node2", "node3"]
cluster.initial_master_nodes: ["node1", "node2"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
七、修改系統(tǒng)配置,解決啟動(dòng)時(shí)候的問(wèn)題
由于現(xiàn)在使用普通用戶來(lái)安裝es服務(wù),且es服務(wù)對(duì)服務(wù)器的資源要求比較多,包括內(nèi)存大小,線程數(shù)等。所以我們需要給普通用戶解開(kāi)資源的束縛
1、???????普通用戶打開(kāi)文件的最大數(shù)限制
問(wèn)題錯(cuò)誤信息描述:
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
ES因?yàn)樾枰罅康膭?chuàng)建索引文件,需要大量的打開(kāi)系統(tǒng)的文件,所以我們需要解除linux系統(tǒng)當(dāng)中打開(kāi)文件最大數(shù)目的限制,不然ES啟動(dòng)就會(huì)拋錯(cuò)
三臺(tái)機(jī)器使用lanson用戶執(zhí)行以下命令解除打開(kāi)文件數(shù)據(jù)的限制
sudo vi /etc/security/limits.conf
添加如下內(nèi)容: 注意*不要去掉了
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
此文件修改后需要重新登錄用戶,才會(huì)生效
2、普通用戶啟動(dòng)線程數(shù)限制
問(wèn)題錯(cuò)誤信息描述
max number of threads [1024] for user [es] likely too low, increase to at least [4096]
修改普通用戶可以創(chuàng)建的最大線程數(shù)
max number of threads [1024] for user [es] likely too low, increase to at least [4096]
原因:無(wú)法創(chuàng)建本地線程問(wèn)題,用戶最大可創(chuàng)建線程數(shù)太小
解決方案:修改90-nproc.conf 配置文件。
三臺(tái)機(jī)器使用lanson用戶執(zhí)行以下命令修改配置文件
Centos6
sudo vi /etc/security/limits.d/90-nproc.conf
Centos7
sudo vi /etc/security/limits.d/20-nproc.conf
找到如下內(nèi)容:
* soft nproc 1024
#修改為
* soft nproc 4096
3、普通用戶調(diào)大虛擬內(nèi)存
錯(cuò)誤信息描述:
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
調(diào)大系統(tǒng)的虛擬內(nèi)存
原因:最大虛擬內(nèi)存太小
每次啟動(dòng)機(jī)器都手動(dòng)執(zhí)行下。
三臺(tái)機(jī)器執(zhí)行以下命令
第一種調(diào)整:?臨時(shí)調(diào)整,?退出會(huì)話 重新登錄 就會(huì)失效的 (測(cè)試環(huán)境下配置)
sudo ?sysctl -w vm.max_map_count=262144 ???
第二種:?永久有效 ?(生產(chǎn)中配置)
sudo vim /etc/sysctl.conf
在最后添加一行
vm.max_map_count=262144 ?
備注:以上三個(gè)問(wèn)題解決完成之后,重新連接secureCRT或者重新連接xshell生效
八、???????啟動(dòng)ES服務(wù)
三臺(tái)機(jī)器使用lanson用戶執(zhí)行以下命令啟動(dòng)es服務(wù)
nohup /export/server/es/elasticsearch-7.6.1/bin/elasticsearch 2>&1 &
啟動(dòng)成功之后jsp即可看到es的服務(wù)進(jìn)程,并且訪問(wèn)頁(yè)面
http://node1:9200/?pretty
http://node2:9200/?pretty
http://node3:9200/?pretty
能夠看到es啟動(dòng)之后的一些信息
注意:如果哪一臺(tái)機(jī)器服務(wù)啟動(dòng)失敗,那么就到哪一臺(tái)機(jī)器的
/export/server/es/elasticsearch-7.6.1/log
這個(gè)路徑下面去查看錯(cuò)誤日志
- 📢博客主頁(yè):https://lansonli.blog.csdn.net
- 📢歡迎點(diǎn)贊 👍 收藏 ?留言 📝 如有錯(cuò)誤敬請(qǐng)指正!
- 📢本文由 Lansonli 原創(chuàng),首發(fā)于 CSDN博客🙉
- 📢大數(shù)據(jù)系列文章會(huì)每天更新,停下休息的時(shí)候不要忘了別人還在奔跑,希望大家抓緊時(shí)間學(xué)習(xí),全力奔赴更美好的生活?
總結(jié)
以上是生活随笔為你收集整理的2021年大数据ELK(六):安装Elasticsearch的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 2021年大数据ELK(五):Elast
- 下一篇: 2021年大数据ELK(七):安装Ela