flume之avro实践

简介: flume之avro实践

flume接收端配置:

a1.channels = c1
a1.sources = r1
a1.sinks = k1
a1.channels.c1.type = memory
a1.sources.r1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 41414
a1.sources.r1.threads = 5
a1.sinks.k1.channel = c1
a1.sinks.k1.type = FILE_ROLL
a1.sinks.k1.sink.directory = Z:/flume/flume/logs/relog
a1.sinks.k1.r.max.message.size = 100000


flume发送端:

a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = F:/flume_simple_send/logs/relog
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1
# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = localhost
a1.sinks.k1.port = 41414
a1.sinks.k1.threads = 5
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100000
a1.channels.c1.transactionCapacity = 10000


启动之后即可把F:/flume_simple_send/logs/relog的文件发送到本地端口 41414,然后接收端会从41414端口拿到数据写文件到Z:/flume/flume/logs/relog


相关文章
|
7月前
|
XML 数据格式
Flume【付诸实践 01】flume1.9.0版 配置格式说明+常用案例分享(ExecSource+SpoolingDirectorySource+HDFSSink+AvroSourceSink)
【2月更文挑战第19天】Flume【付诸实践 01】flume1.9.0版 配置格式说明+常用案例分享(ExecSource+SpoolingDirectorySource+HDFSSink+AvroSourceSink)
141 1
|
数据采集 存储 缓存
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Sink的Avro Sink
在大数据处理和管理中,数据采集是非常重要的一环。为了更加高效地进行数据采集,Flume作为一种流式数据采集工具得到了广泛的应用。其中,Flume的Sink模块是实现数据输出和存储的核心模块之一。本文将介绍Flume中的Avro Sink,讲解其数据采集流程。
199 0
|
数据采集 存储 大数据
大数据数据采集的数据采集(收集/聚合)的Flume之数据采集流程的Source的Avro Source
在Flume中,Avro Source是一种常见的Source类型。它可以通过Avro协议进行数据采集和传输,并将数据转换成Flume事件进行处理和存储。本文将介绍Avro Source的配置和数据采集流程。
263 0
报错解决:Flume实现多节点Avro Source报错
报错解决:Flume实现多节点Avro Source报错
488 0
报错解决:Flume实现多节点Avro Source报错
|
监控 Java 大数据
中国民生银行大数据团队的Flume实践
转载自:AI前线 中国民生银行服务器的操作系统种类众多,除 Linux 外,部分生产系统仍采用 AIX 和 HP-UNIX 操作系统,由于在 AIX 和 HP-UNIX 无法使用 Logstash 作为日志采集端,在大数据基础平台产品团队经过一系列选型后,采用 Flume 作为 AIX 和 HP-UNIX 操作系统上日志采集端。
1977 0
|
消息中间件 Java Kafka
kafka 客户端使用Avro序列化
kafka 客户端使用Avro序列化
213 0
|
分布式计算 Java Hadoop
JAVA—其他—Avro序列化
Avro是hadoop的一个用于序列化的组件 理解特点: 1. 高效 2. 序列化后体积小 3. 动态 动态指的是数据的结构一旦定义,可以在多处语言生成实体类
296 0