當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

配置三台服务器组成的ELK集群（二）

發(fā)布時(shí)間：2023/12/9 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了配置三台服务器组成的ELK集群（二）小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

上一篇里主要是介紹了ES和ES-Head的安裝過程，這一篇繼續(xù)介紹ELK集群的其他核心組件安裝過程。

五、安裝Logstash：

本案的Logstash安裝在10.113.130.117上；燃鵝，Logstash也可以利用多臺(tái)組成集群，如果未來單臺(tái)處理不過來，可以把Logstash擴(kuò)展到其他服務(wù)器上。

將logstash.tar.gz解壓到指定目錄：

# tar -zxvf logstash-5.4.1.tar.gz -C /opt/ # mv /opt/logstash-5.4.1/ /opt/logstash/

logstash三種啟動(dòng)方式，靠參數(shù)進(jìn)行選擇：-e sting類型啟動(dòng)，-f 指定配置文件啟動(dòng)，服務(wù)啟動(dòng)。

但我們沒有通過yum安裝，暫時(shí)無法以服務(wù)方式啟動(dòng)——需要編寫啟動(dòng)腳本。?

創(chuàng)建簡單的配置文件：

# cd /opt/logstash/config # cp sample.conf es-cluster.conf # vim /opt/logstash/config/es-cluster.conf #參考下面的配置信息，Logstash啟動(dòng)后讀取/var/log/messages的文件內(nèi)容 input{file{start_position => "beginning"path => ["/var/log/messages "]type => 'messagelog'} }#然后將文件內(nèi)容發(fā)送給ElasticSearch的目標(biāo)服務(wù)器 output{ elasticsearch { hosts => ["10.113.130.116:9200"] } }

完成配置修改后，先啟動(dòng)logstash，看一下運(yùn)行情況：

# /opt/logstash/bin/logstash -f /opt/logstash/config/es-cluster.conf &#如果看到如下信息，表示啟動(dòng)成功： [INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<URI::Generic:0x5f86b37e URL://10.113.130.116:9200>]} [INFO ][logstash.pipeline] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500} [INFO ][logstash.pipeline] Pipeline main started [INFO ][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}

六、安裝FileBeats

當(dāng)Logstash安裝完成后，要實(shí)現(xiàn)從應(yīng)用服務(wù)器上收集日志的工作，這個(gè)工作如果使用Logstash來執(zhí)行，也是沒有問題的。

在應(yīng)用服務(wù)器上，按照以上安裝Logstash的操作和配置就可以達(dá)到目的；但是Logstash安裝繁瑣，而且如果僅僅作為收集日志的代理，未免太重。

?因此選擇官方推薦的FileBeats作為勤勞的工蜂，實(shí)現(xiàn)指定文件的掃描、文件內(nèi)容的收集和發(fā)送工作。

?讓我們看看是不是在5分鐘內(nèi)能完成FileBeats的安裝配置吧：

# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-x86_64.rpm # rpm -vi filebeat-5.4.1-x86_64.rpm

修改配置文件：

# vim /etc/filebeat/filebeat.yml filebeat.prospectors: - input_type: log paths: - /ane/tomcat/logs/*.log #- /ane/tomcat/logs/*.out input_type: log #----------------------------- Logstash output -------------------------------- output.logstash:# The Logstash hostshosts: ["10.113.130.117:5044"]worker: 4

配置了日志輸出到Logstash之后，建議注釋掉輸出到Elasticsearch的部分。

?啟動(dòng)FileBeats：

- For CentOS： # systemctl start filebeat- For Redhat 6.5： # service filebeat start

如果采用了FileBeat收集日志文件，則可以關(guān)閉Logstath的文件讀取，從指定的端口讀取數(shù)據(jù)流。

登錄到Logstash的服務(wù)器（10.113.130.117），修改Logstash的配置文件為如下內(nèi)容：

# vim /opt/logstash/config/es-cluster.conf input{stdin{}beats{port => 5044} }output{elasticsearch {hosts => ["10.113.130.116:9200"]index => "logstash-%{+YYYY.MM.dd}"document_type => "%{[@metadata][type]}"} }

修改完以后，重啟Logstash。

請注意一個(gè)細(xì)節(jié)：logstash-%{+YYYY.MM.dd}，不能寫成{+YYYY.MM.DD}，不然第二天以后的日期顯示不正確！下面展示寫錯(cuò)的情況：

上面圖中的logstash-2017.06.170，是6月18日的日志文件的匯總標(biāo)題。前一天（17日）是正確的，次日就這樣了。

七、安裝Kibana

Kibana安裝在10.113.130.118上。從官網(wǎng)下載Kibana.tar.gz，解壓到/opt目錄下：

# tar -zxvf kibana-5.4.0-linux-x86_64.tar.gz -C /opt/# mv /opt/kibana-5.4.0-linux-x86_64 /opt/kibana/ # cd /opt/
# chown -R elasticsearch:elasticsearch kibana

修改配置文件

# cd kibana/
# vim config/kibana.yml#修改如下選項(xiàng)： Server.port: 5601 Server.host: “0.0.0.0” Elasticsearch.url: “10.113.130.116:9200” Kibana.index: “.kibana” Pid.file: /var/run/kibana.pid

由于kibana文件夾的所有者為Elsticsearch，運(yùn)行也要以elsticsearch用戶身份。

與Elsticsearch的處理方式類似，創(chuàng)建啟動(dòng)腳本：

# vim kibana-start.sh su - elasticsearch -c "nohup /opt/kibana/bin/kibana> /dev/null 2>&1 &"# chmod +x kibana-start.sh # mv kibana-start.sh /usr/local/bin

#kibana-start.sh

Kibana啟動(dòng)以后，在瀏覽器輸入http://10.113.130.118:5601，可以看到如下頁面：

八、安裝ElasticHD

ElasticHD 是一款 ElasticSearch的可視化應(yīng)用。不依賴ES的插件安裝，更便捷；導(dǎo)航欄直接填寫對應(yīng)的ES IP和端口就可以操作ES了。目前支持如下功能：

ES 實(shí)時(shí)搜索
ES DashBoard 數(shù)據(jù)可視化
ES Index Template (在線修改、查看、上傳）
SQL Converts to DSL
ES 基本查詢文檔

?詳見：https://github.com/farmerx/elasticHD/wiki

登錄到第一臺(tái)服務(wù)器（10.113.130.116），下載對應(yīng)的elasticHD版本，上傳到服務(wù)器：

# unzip xxx_elasticHd_xxx.zip
# mv ElasticHD /opt/ # chmod 777 ElasticHD

可指定ip端口運(yùn)行elastichd

# /opt/ElasticHD -p 10.113.130.116:9800 &

同樣，推薦將上方的啟動(dòng)命令，制作成啟動(dòng)腳本eshd-start.sh，并移動(dòng)到/usr/local/bin/目錄下，可直接執(zhí)行。

安裝成功后，在瀏覽器輸入配置的地址和端口，看到如下畫面：?

轉(zhuǎn)載于:https://www.cnblogs.com/JasonMa1980/p/7222143.html

總結(jié)

以上是生活随笔為你收集整理的配置三台服务器组成的ELK集群（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。