轉(zhuǎn)自：http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go 摘要：一直崇尚開(kāi)源的Mozilla近日釋放了Heka測(cè)試版——插件架構(gòu)，Go編寫(xiě)。在支持使用Go擴(kuò)展功能的同時(shí)，還通過(guò)允許“Sandboxed Filters”提供了另一種選擇——Lua，同時(shí)這種選擇下還省去了配置文件的編輯和系統(tǒng)的重啟。

?????? 近日Mozilla Service團(tuán)隊(duì)首次發(fā)布了?Heka測(cè)試版（v0.2b1），Heka是一款擁有數(shù)據(jù)收集、分析、監(jiān)視和報(bào)表的工具。其主要組件為?hekad，一個(gè)適用于任何主機(jī)的輕量級(jí)守護(hù)程序，其主任務(wù)是：

• 通過(guò)讀取和解析日志文件收集數(shù)據(jù)，監(jiān)視服務(wù)器狀況，和（或）使用任何協(xié)議（syslog、statsd、http、heka等）接收客戶端網(wǎng)絡(luò)連接。
• 將采集到的數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)的內(nèi)部表示，把元數(shù)據(jù)封裝成Heka系統(tǒng)其它組件可以有效處理的形式。
• 使用一組路由規(guī)則評(píng)估消息內(nèi)容和原數(shù)據(jù)，并為每一個(gè)消息分配相應(yīng)的處理過(guò)濾器和外部端點(diǎn)。
• 飛速地處理消息內(nèi)容，用以執(zhí)行聚合、滑窗（sliding-window）事件處理和監(jiān)控、非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的形成（舉個(gè)例子：將日志輸入文檔解析到數(shù)字統(tǒng)計(jì)數(shù)據(jù)或者更加友好的數(shù)據(jù)結(jié)構(gòu)）并將新的消息以報(bào)表的形式輸出。
• 將接收到或者是內(nèi)部生成的消息數(shù)據(jù)發(fā)送到外部位置：數(shù)據(jù)可能被寫(xiě)入一個(gè)數(shù)據(jù)庫(kù)、一個(gè)時(shí)間序列數(shù)據(jù)庫(kù)或者一個(gè)網(wǎng)絡(luò)服務(wù)，包括上行的一個(gè)hekad實(shí)例做更深的處理和（或）聚合。

?????? Heka使用Go語(yǔ)言編寫(xiě)，在α測(cè)試中已被證明其非常適合構(gòu)建數(shù)據(jù)管道，并讓數(shù)據(jù)管道同時(shí)占有快速和靈活兩方面的優(yōu)勢(shì)；在α測(cè)中，一個(gè)單hekad實(shí)例可以支撐（接收和路由）起每秒10GB的消息數(shù)據(jù)。Mozilla Service團(tuán)隊(duì)借鑒并延伸了?Logstash的想法，將Heka打造成基于插件的系統(tǒng)。開(kāi)發(fā)者可以通過(guò)構(gòu)建定制的Input、Decoder、Filter（比如數(shù)據(jù)處理）以及Output插件，進(jìn)行快速和簡(jiǎn)潔的功能擴(kuò)展。

?????? 所有4個(gè)類型的插件都可以用Go來(lái)實(shí)現(xiàn)，但是管理這些插件需要修改配置文件并重啟系統(tǒng)，比如：添加新的插件，甚至是重新編譯hekad binary。Heka還通過(guò)允許“Sandboxed Filters”提供了另一種選擇，這樣你就可以使用Lua來(lái)代替Go。這樣一來(lái)，在一個(gè)運(yùn)行中的Heka實(shí)例添加或者刪除功能就不需要修改配置及重啟服務(wù)器。Heka同樣還提供了一些Lua API，Sandbox Filters可以使用這些API管理時(shí)間序列的環(huán)形緩沖區(qū)，并生成曲線圖報(bào)告，這些報(bào)告將呈現(xiàn)在Heka的儀表盤(pán)上：

?
（點(diǎn)擊查看大圖）

開(kāi)源相關(guān)

Heka是項(xiàng)新的技術(shù)，雖然已在Mozilla內(nèi)部廣泛使用，但仍稍顯粗糙。就像Mozilla每個(gè)產(chǎn)品一樣，Heka同樣開(kāi)源。了解更多詳情可閱讀相關(guān)資源：

• Heka v0.2 binaries
• Intro to HekaHTML presentation slides
• Heka project documentation
• hekad daemon documentation
• Heka github project
• Heka-build github project
• Services devmailing list (for developer support)
• IRC: #heka channel on irc.mozilla.org
• Heka python client
• Heka node.js client

原文鏈接：?Introducing Heka?（編譯/仲浩 審校/王旭東）

轉(zhuǎn)載于:https://www.cnblogs.com/LCGIS/archive/2013/05/09/3069440.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Heka：Go编写，来自Mozilla，高效、灵活的插件式数据挖掘工具（转）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。