Flume1.9 安装配置
一，解压
1. 将Master节点Flume安装包解压到/opt/module目录下
tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
2. 为了方便配置进行改名
mv apache-flume-1.9.0-bin/ flume-1.9.0
二、配置
1. 配置环境变量
vi /etv/profile
添加以下内容：
#FLUME_HOME
export FLUME_HOME=/opt/module/flume-1.9.0
export PATH=$PATH:$FLUME_HOME/bin
2. 配置文件
（位于：/opt/module/flume-1.9.1/conf)
- 将 flume-env.sh.template 复制更名为 flume-env.sh
cp flume-env.sh.template flume-env.sh
并添加以下内容：
vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212
- 使配置文件生效
source /etc/profile
- 验证
输入命令：
flume-ng version
出现如图所示即可
三、任务
启动Flume传输Hadoop日志（namenode或datanode日志），查看HDFS中/tmp/flume目录下生成的内容
1，将hadoop与flume中 guava-27.0-jre.jar 包版本保持一致( 因为hadoop中此包版本是27而flume中版本是11 )
首先删除flume里面的此包
rm -rf /opt/module/flume-1.9.0/lib/guava-11.0.2.jar
然后将hadoop里面的此包复制给flume
cp /opt/module/hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/flume-1.9.0/lib/
2，在 /opt/module/flume-1.9.0/conf 下新建文件 conf-file ，并写配置文件
a1.sources=r1
a1.sinks=k1
a1.channels=c1
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=as
a1.sources.r1.filegroups.as=/opt/module/hadoop-3.1.3/logs/hadoop-root-namenode-master.log
a1.channels.c1.type=memory
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
3， 启动Flume传输Hadoop日志，查看HDFS中/tmp/flume目录下生成的文件
启动命令：
flume-ng agent -c conf -f conf-file -n a1 -Dflume.root.logger=INFO,console &
查看HDFS中/tmp/flume目录下生成的文件命令：
hdfs dfs -ls /tmp/flume
