报错解决:Flume实现多节点Avro Source报错

简介: 报错解决:Flume实现多节点Avro Source报错

实操背景:其实很简单,就是想要使用 Avro Source ,在 master 上启动 FlumeAgent ,然后让 slave1 节点发送信息过来,让 master 采集到。

有小伙伴报了以下错误:


org.apache.flume.FlumeException: Failed to set up server socket
  at org.apache.flume.source.AvroSource.start(AvroSource.java:248)
  at org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44)
  at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)
  at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
  at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.128.132:4141
  at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
  at org.apache.avro.ipc.NettyServer.<init>(NettyServer.java:106)
  at org.apache.flume.source.AvroSource.start(AvroSource.java:243)
  ... 9 more
Caused by: java.net.BindException: Cannot assign requested address
  at sun.nio.ch.Net.bind0(Native Method)


微信图片_20220619202347.png


打开 slave1

启动 avro-client ,报错如下:

22/02/25 16:31:26 WARN api.NettyAvroRpcClient: Using default maxIOWorkers
22/02/25 16:31:26 ERROR avro.AvroCLIClient: Unable to open connection to Flume. Exception follows.
org.apache.flume.FlumeException: NettyAvroRpcClient { host: master, port: 4141 }: RPC connection error
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:181)
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:120)
  at org.apache.flume.api.NettyAvroRpcClient.configure(NettyAvroRpcClient.java:638)


解决办法:

1、检查 master 的配置,ip地址和端口是否配置错了,应该配的是监听自己 master 的ip地址和端口。

2、先启动Agent,再启动 avro-client 就可以了。

就这样,完美解决,Nice!!!

相关文章
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
66 3
|
2月前
|
分布式计算 Java Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试!编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
32 1
|
2月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
52 1
|
4月前
|
数据采集 存储 Apache
Flume核心组件大揭秘:Agent、Source、Channel、Sink,一文掌握数据采集精髓!
【8月更文挑战第24天】Flume是Apache旗下的一款顶级服务工具,专为大规模日志数据的收集、聚合与传输而设计。其架构基于几个核心组件:Agent、Source、Channel及Sink。Agent作为基础执行单元,整合Source(数据采集)、Channel(数据暂存)与Sink(数据传输)。本文通过实例深入剖析各组件功能与配置,包括Avro、Exec及Spooling Directory等多种Source类型,Memory与File Channel方案以及HDFS、Avro和Logger等Sink选项,旨在提供全面的Flume应用指南。
195 1
|
7月前
|
监控 Apache
【Flume】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
【4月更文挑战第4天】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
|
7月前
flume之avro实践
flume之avro实践
145 0
|
存储 Java 分布式数据库
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
|
数据采集 存储 缓存
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Sink的Avro Sink
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink模块是实现数据输出和存储的核心模块之一。本文将介绍Flume中的Avro Sink,讲解其数据采集流程。
199 0
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Kafka Source
在Flume中,Kafka Source是一种常见的Source类型。它可以从Kafka的Topic中采集数据,并将其转换成Flume事件进行处理和存储。本文将介绍Kafka Source的配置和数据采集流程。
158 0
|
数据采集 存储 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Avro Source
在Flume中,Avro Source是一种常见的Source类型。它可以通过Avro协议进行数据采集和传输,并将数据转换成Flume事件进行处理和存储。本文将介绍Avro Source的配置和数据采集流程。
263 0