?

?

Logstash是一款輕量級的日志搜集處理框架，可以方便的把分散的、多樣化的日志搜集起來，并進(jìn)行自定義的處理，然后傳輸?shù)街付ǖ奈恢?#xff0c;比如某個服務(wù)器或者文件

Windows環(huán)境：

　　1、下載logstash

　　地址：?https://www.elastic.co/cn/downloads/logstash

　　2、下載： mysql-connector-java.jar

　　在logstash目錄下創(chuàng)建一個mysql目錄，把驅(qū)動文件放進(jìn)去。

　　2、修改配置文件

　　在安裝目錄下，創(chuàng)建新的配置文件，命名為：mysqltoes.conf　

　　這個文件名可以換成其他的，啟動時腳本命令改成對應(yīng)的就可以了。

　　在文件中加入以下內(nèi)容：

input {# 多張表的同步只需要設(shè)置多個jdbc的模塊就行了jdbc {# mysql 數(shù)據(jù)庫鏈接,shop為數(shù)據(jù)庫名jdbc_connection_string => "jdbc:mysql://數(shù)據(jù)庫IP地址:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"# 用戶名和密碼jdbc_user => "root"jdbc_password => ""# 驅(qū)動jdbc_driver_library => "E:/DevelopEnvironment/Logstash/logstash-7.2.0/mysql/mysql-connector-java-8.0.16.jar"# 驅(qū)動類名jdbc_driver_class => "com.mysql.jdbc.Driver"#是否分頁jdbc_paging_enabled => "true"jdbc_page_size => "50000"#直接執(zhí)行sql語句statement =>"select * from employee"# 執(zhí)行的sql 文件路徑+名稱# statement_filepath => "/hw/elasticsearch/logstash-6.2.4/bin/test.sql"#設(shè)置監(jiān)聽間隔 各字段含義（由左至右）分、時、天、月、年，全部為*默認(rèn)含義為每分鐘都更新schedule => "* * * * *"# 索引類型#type => "jdbc"}}output {elasticsearch {#es的ip和端口hosts => ["http://ip:9200"]#ES索引名稱（自己定義的）index => "blog"#文檔類型document_type => "log"#設(shè)置數(shù)據(jù)的id為數(shù)據(jù)庫中的字段document_id => "%{id}"}stdout {codec => json_lines}}

?

需要配置好：

數(shù)據(jù)庫地址、數(shù)據(jù)庫賬號密碼、數(shù)據(jù)庫驅(qū)動路徑、查詢語句、定時掃描時間

es地址、索引、類型、主鍵字段

配置好后，打開cmd窗口，敲入啟動命令：bin\logstash.bat -f config\mysqltoes.conf 如下圖所示：

如果找不到文件，請檢查命令路徑，以及文件名稱。

?

運(yùn)行成功：

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/zyulike/p/11263113.html

總結(jié)

以上是生活随笔為你收集整理的Logstash 安装及简单实用（同步MySql数据到Elasticsearch）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。