如何开通实时计算 Flink 版|学习笔记(二)

简介: 快速学习如何开通实时计算 Flink 版

开发者学堂课程【实时计算 Flink 实战课程如何开通实时计算 Flink 版】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/762/detail/13353


如何开通实时计算 Flink 版

2、Blink 独享集群 SQL 作业

SQL 作业开发、调试、提交、运行

(1)演示内容

创建作业-开发代码-本地调试-提交作业-运行作业-运维作业

(2)作业代码

实时计算作业三要素

原表 CREATE TABLE ds_data(id VARCHAR)WITH(type=‘random’);

结果表 CREATE TABLE out_table(cnt varchar)WITH(type=‘print’);

计算逻辑 Insert INTO out_table select*from ds_data where substring(id,1,1)<=‘Z’and substring(id,1,1)>=‘A’;

在训练营中考虑到使用者没有购买实际的物理存储,所以将使用内置的虚拟存储 random+print 来实现作业,random 的作用是实时的生成随机的数据,print 的作用是把最终的数据结果输出到 .out 日志里面。把随机生成的一段字符去取首字母,判断首字母为大写字母的字符过滤出来,进行简单的逻辑。

实操过程:第一步,开发界面-新建作业-将对应以上代码拷贝-语法检查。

11426.png

第二步,调试作业-下载模板(改名称双击)-输入字段(随机输入三个数据开头分别为 A、a、1)-关闭-上传(输出首字母为 A 的数据符合业务逻辑)

11501.png

第三步,点击右上角上线进行资源配置-系统分配(有三种资源配置方式:第一种初始资源为上一次的资源调优,对运行过的作业进行配置;第二种系统分配资源;第三种手动资源配置,在资源配置界面获取对应资源)-上线。

11604.png

第四步,运维-启动选择当前时间-作业提交到集群进行运行。运行信息上可以看到消耗的 CU 数,输入输出的指标,因为运用的是虚拟的 cnt 所以没有进行数据的埋点。

11687.png

同时在数据曲线上面可以查看各种曲线信息(运用的虚拟表所以没有埋点信息)。

Failover 上如果作业出现异常,进行自动恢复操作可以看到Failover 的信息。JobManager 上可以看到日志信息,可以通过点 Job 日志看到整个作业启动的过程。

11816.png

TaskManager中点击看到 TaskManager.out 日志的输出,每一条输出的日志的首字符都是大写的字母验证了实际的输出是符合数据预期的。

11895.png

作业代码中如果使用实际的物理表,只需进行如将 type=‘random’改为 type=‘datahalf’ 再增加相关的连接参数的改动,在写出的操作过程中如将 type=‘print’ 改为 type=‘rds’再加上 rds 的连接参数,可以向 rds 中实时的写出数据。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
2天前
|
数据采集 人工智能 安全
|
11天前
|
云安全 监控 安全
|
3天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1019 151
|
3天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1711 9
|
8天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
654 152
|
10天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
620 12
|
10天前
|
人工智能 自然语言处理 API
Next AI Draw.io:当AI遇见Draw.io图表绘制
Next AI Draw.io 是一款融合AI与图表绘制的开源工具,基于Next.js实现,支持自然语言生成架构图、流程图等专业图表。集成多款主流大模型,提供智能绘图、图像识别优化、版本管理等功能,部署简单,安全可控,助力技术文档与系统设计高效创作。
691 151