一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务
背景
隨著時序數(shù)據(jù)的飛速增長,時序數(shù)據(jù)庫不僅需要解決系統(tǒng)的穩(wěn)定性和性能問題,還需實現(xiàn)數(shù)據(jù)從采集到分析的鏈路打通,才能讓時序數(shù)據(jù)真正產(chǎn)生價值。在時序數(shù)據(jù)采集領(lǐng)域,一直缺少自動化的采集工具。雖然用戶可以使用一些開源的采集工具實現(xiàn)數(shù)據(jù)采集,例如,Telegraf、Logstash和TCollector等,但是,這些采集工具都需要用戶自行搭建并維護其運行的環(huán)境,增加了用戶的學(xué)習(xí)成本,大大提高了數(shù)據(jù)采集的門檻。另一方面,現(xiàn)有的采集工具缺乏對多個采集源的自動化管理,用戶難以統(tǒng)一管理多個不同的采集源,實時監(jiān)控各個采集工具是否正常運行并采集數(shù)據(jù)。
阿里云InfluxDB?除了提供穩(wěn)定可靠的時序數(shù)據(jù)庫服務(wù),還提供了非常便捷的數(shù)據(jù)采集服務(wù)。用戶能夠方便查看各個采集源的運行狀態(tài)并管理它們,采集的數(shù)據(jù)會自動存儲到阿里云InfluxDB?。用戶無需擔(dān)心運維的問題,實現(xiàn)數(shù)據(jù)從采集到分析的一站式服務(wù)。本文主要介紹如何使用InfluxDB?的數(shù)據(jù)采集服務(wù),實現(xiàn)數(shù)據(jù)從采集到存儲的自動化管理。
阿里云InfluxDB?數(shù)據(jù)采集服務(wù)優(yōu)勢
- 提供豐富的采集指標(biāo):支持MySQL、Redis、MongoDB和系統(tǒng)監(jiān)控等數(shù)據(jù)的采集
- 支持監(jiān)控多個采集源:用戶可以一目了然地監(jiān)控多個采集源的狀態(tài)
- 采集源便捷管理:無需編碼,用戶即可方便地添加、刪除和修改采集源
- 采集數(shù)據(jù)自動存入InfluxDB?,保障采集數(shù)據(jù)不丟失
我們能做什么?
1. 輕松采集數(shù)據(jù)
目前,阿里云InfluxDB?支持采集有關(guān)MySQL、Redis、MongoDB和系統(tǒng)監(jiān)控等四種不同類型的數(shù)據(jù),針對每種類型的數(shù)據(jù),采集多項監(jiān)控指標(biāo),方便用戶更全面地了解被監(jiān)控對象。用戶通過InfluxDB?實例的管理控制臺,即可添加新采集源,一鍵安裝,無需編寫代碼。
采集數(shù)據(jù)的操作流程如下:
- 創(chuàng)建采集配置:選擇采集數(shù)據(jù)的類型、數(shù)據(jù)寫入的數(shù)據(jù)庫和保留策略。
- 添加采集源:在數(shù)據(jù)源機器上一鍵安裝InfluxDB?數(shù)據(jù)采集工具,選擇采集配置,即可開始采集數(shù)據(jù)。
2. 實時監(jiān)控采集源
采集源在運行過程中,您可以實時地監(jiān)控數(shù)據(jù)采集的狀態(tài),查看采集數(shù)據(jù)最近一次到達InfluxDB?的時間;并且,您還可以隨時停止數(shù)據(jù)的采集,在您認為合適的時候再重新開啟數(shù)據(jù)采集服務(wù)。
3. 一鍵切換采集數(shù)據(jù)類型
如果您想要改變被監(jiān)控機器上的采集數(shù)據(jù)類型,無需重新添加新的采集源,只需選擇您想要的采集配置即可,數(shù)據(jù)采集工具會自動切換成采集您指定的監(jiān)控數(shù)據(jù)。
4. 采集數(shù)據(jù)自動存入InfluxDB?
您可以在采集配置中選擇數(shù)據(jù)流入的數(shù)據(jù)庫和保留策略,數(shù)據(jù)采集工具會自動將采集數(shù)據(jù)存入指定的數(shù)據(jù)庫和保留策略,并且,您可以在采集源運行的過程中修改數(shù)據(jù)寫入的數(shù)據(jù)庫和保留策略,只需修改采集配置即可。
最佳實踐
本小節(jié)將介紹如何采集系統(tǒng)監(jiān)控的數(shù)據(jù),并實時展示采集結(jié)果。系統(tǒng)監(jiān)控的數(shù)據(jù)包含處理器、磁盤、內(nèi)存、網(wǎng)絡(luò)、進程和系統(tǒng)等信息,收集的數(shù)據(jù)分別存儲在8個不同的measurement中(measurement分別為cpu、disk、diskio、mem、net、processes、swap和system)。在開始前,請先確保已經(jīng)成功創(chuàng)建數(shù)據(jù)庫和對該數(shù)據(jù)庫有讀寫權(quán)限的用戶賬號。
1. 創(chuàng)建采集系統(tǒng)監(jiān)控數(shù)據(jù)的配置
點擊InfluxDB?管理控制臺左側(cè)導(dǎo)航欄的“添加采集配置”,進入到采集配置添加界面,如下圖所示。填寫“采集配置名稱”,選擇“采集數(shù)據(jù)類型”為“系統(tǒng)監(jiān)控”,然后選擇“授權(quán)賬號”、“數(shù)據(jù)寫入DB”和“數(shù)據(jù)庫存儲策略”,并填寫“授權(quán)密碼”。點擊“添加”即可成功創(chuàng)建采集配置。
2. 添加采集源
點擊InfluxDB?管理控制臺左側(cè)導(dǎo)航欄的“添加采集源”,進入到采集源添加頁面。
(1)選擇網(wǎng)絡(luò)類型,“公網(wǎng)”或者“專有網(wǎng)絡(luò)”,然后點擊“下一步”,如下圖所示。
(2)在數(shù)據(jù)源所在主機安裝采集工具。將安裝命令復(fù)制到主機上即可運行采集工具。采集工具運行后會與InfluxDB?建立連接,在“新采集源掃描結(jié)果列表”上可以看到新添加的采集源,如果在該列表上沒有顯示,可以點擊“刷新”或“自動刷新”。如下圖所示。
(3)選擇采集系統(tǒng)監(jiān)控的數(shù)據(jù)。在上圖中,點擊“選擇采集配置”,進入如下界面,從下拉框中選擇剛剛創(chuàng)建的名為“collect-system”的采集配置。選擇完成后,點擊“保存”。
(4)啟動數(shù)據(jù)采集。勾選需要啟動的采集源,然后點擊“完成并啟動采集”,采集工具即可在采集源上開始采集數(shù)據(jù),如下圖所示。
3. 查看數(shù)據(jù)采集的狀態(tài)
在“采集源列表”中,您可以看到所有與InfluxDB?實例建立連接的采集源,如下圖所示。每個采集源由uuid唯一標(biāo)識,“采集狀態(tài)”為“running”表示采集工具正在采集數(shù)據(jù)并上報到InfluxDB?,“最新采集上報成功時間”表示采集數(shù)據(jù)最近一次成功發(fā)送到InfluxDB?的時間。
4. 使用Grafana可視化采集數(shù)據(jù)
(1)安裝Grafana。有關(guān)如何安裝Grafana可查看文檔。
(2)添加數(shù)據(jù)源。設(shè)置“URL”為InfluxDB?實例的地址,并且填寫采集數(shù)據(jù)所寫入的數(shù)據(jù)庫和用戶賬號,如下圖所示。
(3)配置Dashboard,編寫查詢規(guī)則。這里示范的是查詢磁盤使用率,查詢語句為:
SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)實時查詢結(jié)果如下圖所示。
您可以根據(jù)實際需要,查看其它measurement和field的數(shù)據(jù),分別在FROM和SELECT語句中指定即可。
總結(jié)
阿里云InfluxDB?提供方便快捷的數(shù)據(jù)采集服務(wù),自動化管理數(shù)據(jù)源,幫您解決數(shù)據(jù)采集的問題,實現(xiàn)數(shù)據(jù)從采集到存儲的自動化。未來,我們會支持更多數(shù)據(jù)類型和指標(biāo)的采集,敬請期待。
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一个阿里产品经理眼中的“垃圾分类”
- 下一篇: MySQL单表数据不要超过500万行:是