如何跑通第一个 DataStream 作业

简介: 本文由阿里巴巴技术专家叶佳纯(自知)分享,主要介绍如何在实时计算 Flink 版中跑通 DataStream 作业。

作者 | 叶佳纯(自知),阿里巴巴技术专家

本文由阿里巴巴技术专家叶佳纯(自知)分享,主要介绍如何在实时计算 Flink 版中跑通 DataStream 作业。文章大纲如下:

  1. 准备工作
  2. 创建和启动作业
  3. Deployment 基本操作
  4. Deployment 配置
  5. Deployment 其他操作
  6. UI / Metrics 查看

前面三篇内容已经介绍了实时计算 Flink 在阿里云的整体情况和典型场景,从本篇开始将介绍实时计算 Flink 的系列操作,首先介绍如何跑通第一个DataStream。

在开始之前,首先为大家介绍在VVP上最基本最核心的资源—Deployment,Deployment包括应用的状态和相关配置,VVP会跟踪和汇报每一个Deployment的状态,产生相关的资源和信息。

准备工作

Jar打包上传,这里用社区的一个example,实际操作的时候可以用自己的开发应用。

幻灯片2.png

在VVP页面左侧,点击“资源上传”,然后点击右上角“上传资源”,将打包好的Jar上传。

image.png

创建和启动作业

创建作业有两种方式,第一种是直接通过上传的Jar点击创建作业,就会直接跳到创建页面;

image.png

第二种是直接在VVP左侧菜单点击创建作业,然后在Jar Uri选择需要执行的jar文件。

image.png

补充好作业名称等信息,作业就创建完成了。

image.png

创建作业后,在作业详情页可以看到一些基本操作和展示的基础信息。刚创建完的作业状态是Cancelled,可以点击状态栏右侧的“启动”来启动作业。

image.png

启动中,页面会显示当前实例,每一个实例都有唯一的ID。

image.png

在“运行事件”里,可以看到一些更详细的阶段性的 Event,Event也是一种资源类型。如下图光标所选位置,是Event告警的错误信息,如果点击左侧“+”号,可以看到日志详情。

image.png

当“运行事件”中Deployment的状态变成Running,说明作业启动成功。注意:同一时间只能运行一个Deployment实例,也就是说如果想要重新配置作业,那么需要先停掉运行中的作业,重新配置之后再重新启动新作业。

image.png

Deployment的基本操作

启动、暂停、停止是针对此作业的基本操作,不多做赘述。提醒删除功能只能针对处于Cancelled的作业操作,处于Running和Failed的作业是不能删除的。删除之后无法恢复,需要谨慎。

克隆是指,如果在不修改现有Deloyment的前提下,想做一些尝试性的配置或对比,那么可以先把作业克隆出来。

image.png

Deployment的配置

Deployment的配置可以在新建作业时修改,也可以在运行中进行修改。

幻灯片5.png

上图中的“升级策略”是指在修改Deployment时,是否需要重启,如果需要重启,是带状态重启还是不带状态重启。如下图如果选择None,那么在修改作业配置时不会影响当前正在运行的作业。

image.png

如果需要重启作业,有两种选择,Stateless是不带状态,即停止当前作业,并在调整配置重新启动一个新作业;Stateful是带状态,即在停作业前,对作业做一个Savepoint,然后用最新配置启动一个新作业并从这个Savepoint恢复。

image.png

恢复策略”有三个选项,None表示不带状态恢复作业;Latest Savepoint是指用最新的Savepoint恢复作业;Latest State是指用Checkpoint或Savepoint中最新的那个来恢复作业。当我们需要针对已经停止的作业重新启动时,会用到恢复策略。

image.png

下图左侧“创建Savepoint的最大重试次数”,因为Savepoint是写在OSS里的,如果遇到问题创建Savepoint失败了,重试次数是需要符合这里的配置的,超过最大配置次数Savepoint的操作就会失败。

下图右侧“创建实例的最大重试次数”,是指启动Deployment的最大重试次数,当遇到问题Deployment的重试超出了配置的次数,启动Deployment的状态就会变成红色的Failed。

image.png

Stop with Drain是指 stop接口是不是带Drain参数;标签是指可以给Deployment打多个标签,作用是可以在作业列表更快捷的搜索到所需要的Deployment。

image.png

附加依赖Jar”, 在这里不仅可以放额外的Jar,也可以放一些额外的资源文件。

image.png

Flink 版本”,现在只有1.10和1.11,两个版本可供选择。下图是 Flink 的常见配置,不再赘述。

image.png

Deployment 其他操作

作业快照的使用

作业快照的使用有几种方法:

第一种点击Savepoint一次就会触发Savepoint而留下快照;
第二种是运行中的作业,默认每10秒Checkpoint会留下一个快照;

作业快照还可以通过选择某个早期的快照而不是最近的去恢复作业。点击“从该快照复制作业”,就会folk一个Deployment,与克隆很像,但是这是指定了某个Savepoint的。复制后启动此作业的话,就会从指定的Savepoint恢复作业。

image.png

Secret Values

Secret Value只能使用在Jar URI和 Flink Configuration两个地方。

通常用在一些比较敏感的场景,比如Jar URI中的host部分不想暴露,那怎么做呢?点击VVP页面左侧“变量配置”,点击新增变量,在弹窗完善变量名称和变量值。

image.png

新建完成,可以看到仅仅显示新增变量名称,变量值是隐藏不显示的。然后去作业应用这个变量。

image.png

打开作业列表,选择应用作业,在Jar URI中设置变量。

image.png

UI / Metrics 查看

幻灯片7.png

如下图在页面中右侧有 “指标”,点击指标,跳转页面,即可查看作业的指标信息。

image.png

image.png

点击“ Flink UI”的页面。Flink UI有个使用技巧,当启动作业后,如果有问题导致VVP上一直显示启动中但实际作业已经起来了,那么在 Flink页面里能看到第一手的信息,可以通过 Flink UI点击查看。

image.png

社区二维码.png

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
SQL 存储 OLAP
适用于即席查询(Ad-Hoc)的OLAP引擎
即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,OLAP系统根据用户输入的查询条件实时返回查询结果。OLAP的即席查询与普通查询的不同之处就是很难对前者进行预先的优化,因为即席查询所响应的大都是随机性很强的查询请求。一个OLAP系统的即席查询能力越强,其应对不同用户的随机性和探索性分析的能力就越强。
847 0
适用于即席查询(Ad-Hoc)的OLAP引擎
|
存储 搜索推荐 定位技术
打造个性化网页计数器
【9月更文挑战第8天】在数字时代,数据是金。掌握访问者动态对于网站管理员至关重要。本文将引导你通过简单步骤创建个性化的网页计数器,不仅记录访问次数,更可深入分析访客数据。我们将从基础出发,逐步构建功能丰富的计数器,无需复杂编程技能,即可轻松实现数据的实时追踪与分析。
378 9
|
数据采集 Java Linux
Java异常之【sun.security.validator.ValidatorException: PKIX path building failed: sun.security...】
Java异常之【sun.security.validator.ValidatorException: PKIX path building failed: sun.security...】
711 0
Java异常之【sun.security.validator.ValidatorException: PKIX path building failed: sun.security...】
|
运维 Prometheus 监控
今天在集群中创建yaml,使用create就创建成功,apply就创建失败原因分析。
今天在集群中创建yaml,使用create就创建成功,apply就创建失败原因分析。
|
Linux 调度
Linux驱动中断下半部的三种方法
Linux驱动中断下半部的三种方法
|
SQL 存储 分布式计算
Iceberg原理和项目使用技巧
Iceberg原理和项目使用技巧
1855 0
|
存储 数据管理 定位技术
元数据管理为什么需要统一的元模型?
每个组织都有自己的数据管理方式。有的公司准备自研并制定了长期计划,有的公司使用最新的数据管理工具和技术,有的公司则是为了满足监管机构的要求。这几种的思路完全不一样。 要让公司成为真正的数据驱动型组织,不仅仅需要制定数据策略或推出更新的软件技术。关键在于数据的整体治理和管理,解决这个问题的一个好方法就是元数据管理。元数据管理是DAMA数据治理体系中的一部分,元数据管理与其他数据治理领域巧妙结合,发挥出巨大的作用。
1176 0
元数据管理为什么需要统一的元模型?
|
存储 机器学习/深度学习 分布式计算
【数据湖架构】Azure Data Lake数据湖指南(上)
【数据湖架构】Azure Data Lake数据湖指南
|
弹性计算 Prometheus Kubernetes
【腾讯云Finops Crane集训营】利用云原生成本优化项目实现降本增效泰裤辣~(二)
【腾讯云Finops Crane集训营】利用云原生成本优化项目实现降本增效泰裤辣~(二)
587 0