2021年大数据ELK(二十六):探索数据(Discovery)
全網最詳細的大數據ELK文章系列,強烈建議收藏加關注!?
新文章都已經列出歷史文章目錄,幫助大家回顧前面的知識重點。
目錄
探索數據(Discovery)
一、使用探索數據功能
二、導入更多的Apache Web日志數據
三、基于時間過濾查詢
1、選擇時間范圍
2、指定查詢某天的數據
3、從直方圖上選擇日期更細粒度范圍
四、使用Kibana搜索數據
1、Kibana查詢語言(KQL)
2、過濾字段
探索數據(Discovery)
通過Kibana中的Discovery組件,我們可以快速地進行數據的檢索、查詢。
一、使用探索數據功能
點擊按鈕可以打開Discovery頁面。
?我們發現沒有展示任何的數據。但我們之前已經把數據導入到Elasticsearch中了。
?Kibana提示,讓我們擴大我們的查詢的時間范圍
?
默認Kibana是展示最近15分鐘的數據。我們把時間范圍調得更長一些,就可以看到數據了
將時間范圍選擇為1年范圍內的,我們就可以查看到Elasticsearch中的數據了。
二、導入更多的Apache Web日志數據
- 將資料中的 access.log 文件上傳到Linux
- 將access.log移動到/var/apache/log,并重命名為access.log.2
mv access.log /var/apache/log/access.log.2
- 啟動FileBeat
./filebeat -e -c filebeat-logstash.yml
- 啟動Logstash
bin/logstash -f config/filebeat-es.conf --config.reload.automatic
三、基于時間過濾查詢
1、選擇時間范圍
2、指定查詢某天的數據
查詢2020年5月6日的所有日志數據。
3、???????從直方圖上選擇日期更細粒度范圍
如果要選擇查看某一天的日志,上面這種方式會有一些麻煩,我們有更快更容易的方式。
四、使用Kibana搜索數據
在Kibana的Discovery組件中,可以在查詢欄中輸入搜索條件。默認情況下,可以使用Kibana內置的標準查詢語言,來進行快速查詢。還有一種是遺留的基于Lucene的查詢語法目前暫時可用,這種查詢語法也可以使用基于JSON的Elasticsearch DSL也是可用的。當我們在Discovery搜索數據時,對應的直方圖、文檔列表都會隨即更新。默認情況下,優先展示最新的文檔,按照時間倒序排序的。
1、???????Kibana查詢語言(KQL)
在7.0中,Kibana上線了新的查詢語言。這種語言簡潔、易用,有利于快速查詢。
查詢語法:
「字段:值」,如果值是字符串,可以用雙引號括起來。
查詢包含zhihu的請求
*zhihu*
查詢頁面不存在的請求
status : 404
查詢請求成功和不存在的請求
status: (404 or 200)
查詢方式為POST請求,并請求成功的日志
status: 200 and method: post
查詢方式為GET成功的請求,并且響應數據大于512的日志
status: 200 and method: get and length > 512
查詢請求成功的且URL為「/itcast.cn」開頭的日志
uri: "\/itcast.cn\/*"
注意:因為/為特殊字符,需要使用反斜杠進行轉義
2、???????過濾字段
Kibana的Discovery組件提供各種各樣的篩選器,這樣可以篩選出來我們關注的數據上。例如:我們只想查詢404的請求URI。
指定過濾出來404以及請求的URI、從哪兒跳轉來的日志
?將查詢保存下來,方便下次直接查看
下次直接點擊Open就可以直接打開之前保存的日志了?
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
- 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
- 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?
總結
以上是生活随笔為你收集整理的2021年大数据ELK(二十六):探索数据(Discovery)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年大数据ELK(二十五):添加E
- 下一篇: 2021年大数据ELK(二十七):数据可