全網(wǎng)最詳細(xì)的大數(shù)據(jù)ELK文章系列，強(qiáng)烈建議收藏加關(guān)注！?

新文章都已經(jīng)列出歷史文章目錄，幫助大家回顧前面的知識(shí)重點(diǎn)。

目錄

系列歷史文章?

一、簡介

二、ELK 協(xié)議棧介紹及體系結(jié)構(gòu)

三、集中式日志協(xié)議棧組件功能簡介

---

系列歷史文章

2021年大數(shù)據(jù)ELK（六）：安裝Elasticsearch

2021年大數(shù)據(jù)ELK（五）：Elasticsearch中的核心概念

2021年大數(shù)據(jù)ELK（四）：Lucene的美文搜索案例

2021年大數(shù)據(jù)ELK（三）：Lucene全文檢索庫介紹

2021年大數(shù)據(jù)ELK（二）：?Elasticsearch簡單介紹

2021年大數(shù)據(jù)ELK（一）：集中式日志協(xié)議棧Elastic Stack簡介

一、簡介

日常工作中會(huì)面臨很多問題，處理問題時(shí)候。怎么解決問題？

• 通過工作經(jīng)驗(yàn)，迅速判斷問題出在哪。
• 通過日志
• 系統(tǒng)日志：/var/log 目錄下的問題的文件
• 程序日志：?代碼日志（項(xiàng)目代碼輸出的日志）
• 服務(wù)應(yīng)用日志
  • nginx、HAproxy、lvs
  • tomcat、php-fpm
  • redis、mysql、mongo
  • RabbitMq、kafka
  • Glusterfs、HDFS、NFS等等

通過日志排除，發(fā)現(xiàn)問題根源解決問題

如果1臺(tái)或者幾臺(tái)服務(wù)器，我們可以通過 linux命令，tail、cat，通過grep、awk等過濾去查詢定位日志查問題

但是如果幾十臺(tái)、甚至幾百臺(tái)。通過這種方式肯定不現(xiàn)實(shí)。

怎么辦？

一些聰明人就提出了建立一套集中式的方法，把不同來源的數(shù)據(jù)集中整合到一個(gè)地方。

一個(gè)完整的集中式日志系統(tǒng)，是離不開以下幾個(gè)主要特點(diǎn)的。

• 收集－能夠采集多種來源的日志數(shù)據(jù)
• 傳輸－能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
• 存儲(chǔ)－如何存儲(chǔ)日志數(shù)據(jù)
• 分析－可以支持 UI 分析
• 警告－能夠提供錯(cuò)誤報(bào)告，監(jiān)控機(jī)制

二、ELK 協(xié)議棧介紹及體系結(jié)構(gòu)

ELK其實(shí)并不是一款軟件，而是一整套解決方案，是三個(gè)軟件產(chǎn)品的首字母縮寫，Elasticsearch，Logstash?和?Kibana。這三款軟件都是開源軟件，通常是配合使用，而且又先后歸于 Elastic.co 公司名下，故被簡稱為ELK協(xié)議棧。

三、集中式日志協(xié)議棧組件功能簡介

• ElasticSearch : 主要是用于做全文檢索功能、數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)的查詢?
• Logstash: ?主要是用于進(jìn)行數(shù)據(jù)的傳遞采集工作，將數(shù)據(jù)從一個(gè)地方 搬運(yùn)到另一個(gè)地方去
• Kibana : ?主要是用于 圖標(biāo)報(bào)表展示 以及 數(shù)據(jù)探索
• Beats : 主要是用于進(jìn)行數(shù)據(jù)的寫入工作

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點(diǎn)贊 👍 收藏 ?留言 📝 如有錯(cuò)誤敬請(qǐng)指正！
• 📢本文由 Lansonli 原創(chuàng)，首發(fā)于 CSDN博客🙉
• 📢大數(shù)據(jù)系列文章會(huì)每天更新，停下休息的時(shí)候不要忘了別人還在奔跑，希望大家抓緊時(shí)間學(xué)習(xí)，全力奔赴更美好的生活?

總結(jié)

以上是生活随笔為你收集整理的2021年大数据ELK（一）：集中式日志协议栈Elastic Stack简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。