當(dāng)前位置：首頁 > 运维知识 > linux >内容正文

linux

flume linux环境搭建,linux安装flume及问题

發(fā)布時(shí)間：2025/3/15 linux 24 豆豆

生活随笔收集整理的這篇文章主要介紹了 flume linux环境搭建,linux安装flume及问题小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

1.安裝

1)下載：wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

解壓tar -zxvf?apache-flume-1.6.0-bin.tar.gz

創(chuàng)建軟鏈接 ln -s?apache-flume-1.6.0-bin flume

2)配置環(huán)境變量

vim ~/.bash_profile

加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin

3)驗(yàn)證是否安裝成功

flume-ng version，若顯示如下類似信息即成功了

Warning: $HADOOP_HOME is deprecated.

Flume 1.6.0

Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080

Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015

From source with checksum b29e416802ce9ece3269d34233baf43f4)基本概念：

Flume由source,channel,sink三部分組成

Agent:使用JVM運(yùn)行Flume,一般每臺(tái)機(jī)器啟動(dòng)一個(gè)agent,一個(gè)agent可以包含多個(gè)sources和sinks

Client:產(chǎn)生數(shù)據(jù)，獨(dú)立線程

Source:從Client收集數(shù)據(jù)，并將數(shù)據(jù)傳輸給Channel

Sink：從Channel接收數(shù)據(jù)

Channel:連接source 和sinks，緩存數(shù)據(jù)

Events:日志記錄等

5)問題

如果執(zhí)行flume-ng 的時(shí)候執(zhí)行報(bào)錯(cuò)：Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty

一般來說是由于jdk版本造成的，改為JDK7版本就好了

錯(cuò)誤: 找不到或無法加載主類 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty

一般來說是由于裝了HBASE等工具的原因

將hbase的hbase.env.sh的一行配置注釋掉

# Extra Java CLASSPATH elements. Optional.

#export HBASE_CLASSPATH=/home/hadoop/hbase/conf

2、或者將HBASE_CLASSPATH改為JAVA_CLASSPATH,配置如下

# Extra Java CLASSPATH elements. Optional.

export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

錯(cuò)誤參考：http://blog.csdn.net/senvil/article/details/42526947

以上是生活随笔為你收集整理的flume linux环境搭建,linux安装flume及问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。