海量日志分析方案--logstash+kibnana+kafka
生活随笔
收集整理的這篇文章主要介紹了
海量日志分析方案--logstash+kibnana+kafka
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
下圖為唯品會在qcon上面公開的日志處理平臺架構圖。聽后覺得有些意思,好像也可以很容易的copy一個,就動手嘗試了一下。
目前只對flume===>kafka===>elacsticSearch===>kibnana(logstash)這條線路做一個簡單的demo,以后有時間嘗試整個架構的學習。
以下為日志處理平臺的展現圖。
?
?
當然logstash還能做很多事情,demo中并未接入實際的數據,圖形并不是很美觀。
下面將簡單介紹這一平臺搭建過程:
現在我們來搭建這樣flume===>kafka===>elacsticSearch===>kibnana(logstash)一個日志收集分析平臺
首先分解以下問題,將日志收集和日志分析分開,分為flume====>kafka和logstash兩部分。
為了比較有成就感,我們先搭建logstash。logstash的搭建非常簡單,詳見http://logstash.net/
?
?
轉載于:https://www.cnblogs.com/dempe/p/3620283.html
總結
以上是生活随笔為你收集整理的海量日志分析方案--logstash+kibnana+kafka的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux分区工具fdisk的使用
- 下一篇: 求一个二维整数数组最大子数组之和,时间复