Flume在企業(yè)大數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中位置及功能

hadoop數(shù)據(jù)倉(cāng)庫(kù)flume

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

1、如下圖所示，外部數(shù)據(jù)中，關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入到HDFS用sqoop，由Nginx產(chǎn)生的文件實(shí)時(shí)監(jiān)控用Flume獲得。
在HDFS或Hbase中，如果要進(jìn)行實(shí)時(shí)查詢用Impala（內(nèi)存），如果是分析可以用Hive，Mapreduce分析。用Oozie來(lái)調(diào)用工作流執(zhí)行任務(wù)。

2、左邊是數(shù)據(jù)的來(lái)源：系統(tǒng)日志文件，應(yīng)用文件（應(yīng)用系統(tǒng)收集APP產(chǎn)生的日志），點(diǎn)擊流（點(diǎn)擊產(chǎn)生的日志），銷售點(diǎn)（訂單信息）。通過(guò)Flume收集然后給HDFS存儲(chǔ)。

3、Flume在企業(yè)中的做法

轉(zhuǎn)載于:https://www.cnblogs.com/raymoc/p/5343568.html

總結(jié)

以上是生活随笔為你收集整理的Flume在企业大数据仓库架构中位置及功能的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。