报错解决:Flume实现多节点Avro Source报错

简介: 报错解决:Flume实现多节点Avro Source报错

实操背景:其实很简单,就是想要使用 Avro Source ,在 master 上启动 FlumeAgent ,然后让 slave1 节点发送信息过来,让 master 采集到。

有小伙伴报了以下错误:


org.apache.flume.FlumeException: Failed to set up server socket
  at org.apache.flume.source.AvroSource.start(AvroSource.java:248)
  at org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44)
  at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)
  at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
  at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
  at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)
Caused by: org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.128.132:4141
  at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
  at org.apache.avro.ipc.NettyServer.<init>(NettyServer.java:106)
  at org.apache.flume.source.AvroSource.start(AvroSource.java:243)
  ... 9 more
Caused by: java.net.BindException: Cannot assign requested address
  at sun.nio.ch.Net.bind0(Native Method)


微信图片_20220619202347.png


打开 slave1

启动 avro-client ,报错如下:

22/02/25 16:31:26 WARN api.NettyAvroRpcClient: Using default maxIOWorkers
22/02/25 16:31:26 ERROR avro.AvroCLIClient: Unable to open connection to Flume. Exception follows.
org.apache.flume.FlumeException: NettyAvroRpcClient { host: master, port: 4141 }: RPC connection error
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:181)
  at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:120)
  at org.apache.flume.api.NettyAvroRpcClient.configure(NettyAvroRpcClient.java:638)


解决办法:

1、检查 master 的配置,ip地址和端口是否配置错了,应该配的是监听自己 master 的ip地址和端口。

2、先启动Agent,再启动 avro-client 就可以了。

就这样,完美解决,Nice!!!

相关文章
|
28天前
|
数据采集 存储 Apache
Flume核心组件大揭秘:Agent、Source、Channel、Sink,一文掌握数据采集精髓!
【8月更文挑战第24天】Flume是Apache旗下的一款顶级服务工具,专为大规模日志数据的收集、聚合与传输而设计。其架构基于几个核心组件:Agent、Source、Channel及Sink。Agent作为基础执行单元,整合Source(数据采集)、Channel(数据暂存)与Sink(数据传输)。本文通过实例深入剖析各组件功能与配置,包括Avro、Exec及Spooling Directory等多种Source类型,Memory与File Channel方案以及HDFS、Avro和Logger等Sink选项,旨在提供全面的Flume应用指南。
30 1
|
4月前
|
监控 Apache
【Flume】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
【4月更文挑战第4天】 Flume 区别分析:ExecSource、Spooldir Source、Taildir Source
|
4月前
flume之avro实践
flume之avro实践
100 0
|
存储 Java 分布式数据库
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
Flume学习---3、自定义Interceptor、自定义Source、自定义Sink
|
数据采集 存储 缓存
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Sink的Avro Sink
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink模块是实现数据输出和存储的核心模块之一。本文将介绍Flume中的Avro Sink,讲解其数据采集流程。
176 0
|
消息中间件 数据采集 存储
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Kafka Source
在Flume中,Kafka Source是一种常见的Source类型。它可以从Kafka的Topic中采集数据,并将其转换成Flume事件进行处理和存储。本文将介绍Kafka Source的配置和数据采集流程。
145 0
|
数据采集 存储 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Avro Source
在Flume中,Avro Source是一种常见的Source类型。它可以通过Avro协议进行数据采集和传输,并将数据转换成Flume事件进行处理和存储。本文将介绍Avro Source的配置和数据采集流程。
192 0
|
数据采集 存储 SQL
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的HTTP Source
在Flume中,Source是数据采集的第一步。HTTP Source是其中一个比较常见的Source类型,它可以监听并处理HTTP请求,并将其转换成Flume事件进行传输和处理。本文将介绍HTTP Source的数据采集流程及相关注意事项。
155 0
|
存储 数据采集 JSON
大数据数据采集的数据采集(收集/聚合)的Flume之基本组件的Source:数据的收集端
在Flume中,Source是数据采集和传输过程中的一个重要组件。它负责从生产者获取数据并将其发送到Channel缓冲区中,为后续的数据处理和存储提供支持。
171 0
|
中间件 Java 数据库连接
【Flume中间件】(13)自定义Source
【Flume中间件】(13)自定义Source
132 1