单数据源多出口案例(一)实现 | 学习笔记

简介: 快速学习单数据源多出口案例(一)实现。

开发者学堂课程数据采集系统 Flume :单数据源多出口案例(一)实现学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/99/detail/1636


单数据源多出口案例(一)实现


内容介绍

1.创建 fume-file -flume. conf

2.创建 fume e-flume---hds.con

3.创建 flume-flume-dir. cinf

4.执行配置文件

5.启动 Hadoop 和 Hive

6.检查 HDFS 上数据


准备工作

在  /opt/module/ flume/ job 下创建 group1 文件夹。

[ atguigu@hadoop102 job]$ cd group1/.

在 opt/ module/ datas/ 录下创建 flume3 文件夹

[ atguigu@hadoop102 datas] $ mkdir flume3


1.创建 fume-file -flume. conf

配置1个接收日志文件的 source 和两个 channel、两个 sink, 分别输给 flume-flume-hdfs 和 flume-flume-dir。

涉及三个配置,最终输出 Avro。

本地目录需要创建。

Hive 日志里面,有一个 source,两个 sink,中间空格,两个 channel 和 c1c2。

sink 里面有两个 sink,输入口都是 avro。

图片3.png

图片4.png

图片5.png

图片6.png

图片7.png


注: Aro 是由 Hadoop 创始人 Doug Cutting 创建的一种语言无关的数据序列化和 RPC 框架。

注: RPC( Remote Procedure Call) 一远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。

 

2.创建 fume e-flume---hds.con

配置上级 Fme 输出的 Soce, 输出是到 HDFS 的 Sink

创建配置文件打开。

图片8.png

图片9.png

图片10.png


3.创建 flume-flume-dir. cinf

配置上级 Flume 输出的 source,输出是本地目录的 sink。

创建配置文件并打开。

注意: 输出的本地目录必须是已经存在的目录,如果该目录不存在,并不会创建新的目录。

图片11.png

4.执行配置文件

图片12.png


5.启动 Hadoop 和 Hive

图片13.png


6.检查 HDFS 上数据

图片14.png

图片15.png

相关文章
|
2天前
|
数据采集 人工智能 安全
|
11天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
990 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1690 9
|
8天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
635 152
|
10天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
608 14
|
9天前
|
人工智能 自然语言处理 API
Next AI Draw.io:当AI遇见Draw.io图表绘制
Next AI Draw.io 是一款融合AI与图表绘制的开源工具,基于Next.js实现,支持自然语言生成架构图、流程图等专业图表。集成多款主流大模型,提供智能绘图、图像识别优化、版本管理等功能,部署简单,安全可控,助力技术文档与系统设计高效创作。
683 151