在前面兩篇文章中記錄了使用logstash來收集mysql的慢查詢日志，然后通過kibana以web的方式展示出來，但在生產環境中，需求會更復雜一些，而且通過logstash寫正則，實在是個費時費勁的事。例如在生產環境中會有要求分析某個時間段mysql或者mongodb的慢查詢日志情況；還有I/O吞吐量；這個時間段內經常執行的查詢語句，http訪問情況等信息；然后將分析出來的結果以圖表的形式展現出來。聽起來是不是有點頭暈，有點高大上的感覺，其實通過packetbeat，一切將變得簡單高效。本文介紹使用packetbeat，elasticsearch,kibana實現這個需求。

操作系統版本：centos6.6 64bit

Elasticsearch版本：elasticsearch-2.1.0.tar.gz

Kibana版本：Kibana 4.2.1

Packetbeat版本：packetbeat-1.0.0-1.x86_64

Topbeat版本：topbeat-1.0.0-x86_64 (topbeat其實是用來收集操作系統信息的)

在前兩篇文章中未介紹如果安裝elasticsearch和kibana，這個其實很簡單，基本下載下來解壓一下，稍微修改一下配置文件即可運行起來，所有就忽略了，如果有問題，可以自行百度或者bing一下。

目前packetbeat支持的網絡協議有http,mysql,postgresql,redis,mongodb和thrift。Packetet支持pcap，pf_ring等抓包方式，采用哪種方式進行抓包，則需要安裝相應的依賴包。

一：下載并安裝packetbeat

# yum -y install libpcap

# rpm -ivh https://download.elastic.co/beats/packetbeat/packetbeat-1.0.0-x86_64.rpm

# rpm -ivh https://download.elastic.co/beats/topbeat/topbeat-1.0.0-x86_64.rpm

二：向elasticsearch導入packetbeat模板

# curl -XPUT

'http://192.168.1.226:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

三：修改packetbeat配置文件

# cat /etc/packetbeat/packetbeat.yml ?--server15

shipper:

name: server15

tags: ["server15"]

interfaces:

device: any

type: pcap

buffer_size_mb: 100

protocols:

mysql:

ports: [3306]

output:

elasticsearch:

host: 192.168.1.207

port: 9200

enabled: true

# cat /etc/packetbeat/packetbeat.yml ?--server226

shipper:

name: server226

tags: ["server226"]

interfaces:

device: eth0

type: pcap

buffer_size_mb: 100

protocols:

mongodb:

ports: [37017, 38017]

send_request: true ? ? # index the request payload

send_response: true ? ?# index the response payload

max_docs: 10 ? ? ? ? ? # maximum number of documents to index per request/response

max_doc_length: 1024 ? # maximum document size to index

protocols:

mysql:

ports: [3306]

protocols:

redis:

ports: [6379]

output:

elasticsearch:

enabled: true

host: 192.168.1.207

port: 9200

四：啟動packetbeat服務

# /etc/init.d/packetbeat start

五：導入packetbeat-dashboards

# git clone https://github.com/elastic/packetbeat-dashboards

# cd packetbeat-dashboards

# sh load.sh -url http://192.168.1.207:9200

六：web展示

1: 配置索引，這個在執行完load.sh腳本之后，索引會自動創建

wKiom1ZuiQ_wSfvGAACffDA-MDM552.png

2: 查看客戶端的數據推送情況

wKiom1ZuiTnDruz2AADq8GDSF-E663.png

3: 查看導入的面板，可視化視圖，點擊setting-objects

wKioL1ZuiW7jT1nlAABr3Brl0hc212.png

4: 圖形展示,點擊dashboard-load save dashboards

wKioL1ZuiZySBukgAABD8K7ZGHQ261.png

Mysql情況：

wKiom1Zuib3B0N8GAAC-SiDsHqY275.png

在有多臺mysql服務的情況下，可以根據tags來區分，在搜索框中輸入相應的tag，則只顯示對應的數據

wKiom1ZuieKx5OKOAADLhj9NrP8791.png

Mongodb情況

wKiom1ZuigDgzATgAABt0o2Rnfw187.png

匯總情況：

wKiom1ZuihuCI8WaAACjCa0H8Ww300.png

更多數據演示請訪問packetbeat demo網址：http://demo.elastic.co/packetbeat/

七：故障排錯

1: 在測試過程中曾經發現mysql里面的most frequent Mysql queries和slowest mysql queries數據顯示不全，像是被截斷的樣子，排查后發現其實是模板的問題，刪除模板后重新導入即可.

wKioL1ZuilehmdvhAACK_2SQDeI261.png

wKiom1ZuilLyFRN8AABmQsQvIVk594.png

# curl -XDELETE 'http://192.168.1.207:9200/*'

# curl -XPUT

'http://192.168.1.207:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

# cd packetbeat-dashboards

# sh load.sh -url http://192.168.1.207:9200

2: elasticsearch數據維護

搜索數據：(如果你有多個索引，可以把packetbeat-*換成對應的索引名)：

# curl -XGET 'http://192.168.1.226:9200/packetbeat-*/_search?pretty'

刪除數據(如果你有多個索引，可以把packetbeat-*換成對應的索引名)：

# curl -XDELETE 'http://192.168.1.207:9200/packetbeat-*'

?著作權歸作者所有：來自51CTO博客作者ylw6006的原創作品，謝絕轉載，否則將追究法律責任

packetbeat elasticsearchWorkSpace

總結

以上是生活随笔為你收集整理的packetbeat mysql_简单使用packetbeat的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。