DataphinV3.14 Flink SQL任务支持基于Session集群调试,模拟生产代码逻辑的调试效果

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:1. 支持的采样数据有限,且非是流式数据的调试。2. 手动上传构造数据的方式较为繁琐,局限性较大。为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

背景

实时研发一直以来的都是通过local-debug的方式来调试开发中的Flink SQL任务,该方式有如下不足:

  1. 支持的采样数据有限,且非是流式数据的调试。
  2. 手动上传构造数据的方式较为繁琐,局限性较大。
    为便于Flink SQL任务的调试,DataphinV3.14版本支持Flink SQL任务基于Session集群调试,期望做到像离线即席查询般方便地获取实时任务的输出结果,方便用户对线上的真实数据进行代码逻辑上的调试。

Flink Session集群是一个适用于任务快速启停的可交互集群,用户可以在Flink Session集群中实时调试和测试Flink任务。Flink Session集群提供了任务状态、日志和输出结果的实时查看功能,用户可以通过观察任务的行为和输出来验证任务的正确性。用户可以迭代地修改和调试任务代码,以便快速定位和解决问题。

功能概览:

  1. 支持基于Session集群调试实时任务
  2. 支持为Session集群划分独立资源以进行实时任务的调试,不影响其他任务的运行。
  3. 支持跳转Flink ui实时查看Session集群任务的状态、日志和输出结果。
  4. 支持用户对线上的真实数据进行代码逻辑上的调试。
  5. 支持流式数据的调试,实时获取任务的输出结果。

使用说明:

仅 R.S3.0 基于K8s架构的独立部署的开源flink引擎下支持使用

操作流程:

1. 创建用于Session集群任务调试的自定义资源组

需要先创建自定义资源组以创建Session集群用于Flink SQL任务调试。
入口:管理中心 > 资源设置 > 资源组配置 > 新建自定义资源组

  1. 选择合适的调度资源集群
  2. 配置合理的CPU、内存
  3. 应用场景选择实时任务-创建Session集群

image.png

2. 创建Session集群

入口:管理中心 > 资源设置 > Session集群 > 新建Session集群

  1. 配置合理的CPU、内存可用量,注意资源配置的CPU、内存总量不能大于Session集群资源组的CPU、内存可用量。
    Session集群所需的CPU用量 = Task Managers数量 x TaskManager CPU Cores + JobManager CPU Cores
    Session集群所需的内存用量 = Task Managers数量 x TaskManager Memory + JobManager Memory
  2. 配置Session集群运行参数,后续使用Session集群调试Flink SQL任务时,将默认配置该参数信息。
  3. 完成Session集群新建后将自动启动,可以在Session集群列表查看启动状态。

image.png
image.png

3. 调试 Flink SQL任务

调试Flink SQL任务时选择采集线上数据,选择可用的调试集群,任务开始调试后会将调试结果打印在控制台
image.png
image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
zdl
|
24天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
142 56
|
2月前
|
SQL 关系型数据库 MySQL
创建SQL数据库的基本步骤与代码指南
在信息时代,数据管理显得尤为重要,其中数据库系统已成为信息技术架构的关键部分。而当我们谈论数据库系统时,SQL(结构化查询语言)无疑是其中最核心的工具之一。本文将详细介绍如何使用SQL创建数据库,包括编写相应的代码和必要的步骤。由于篇幅限制,本文可能无法达到您要求的2000字长度,但会尽量涵盖创建数
76 3
|
2月前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
80 3
|
2月前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
51 0
|
2月前
|
SQL 监控 关系型数据库
SQL错误代码1303解析与处理方法
在SQL编程和数据库管理中,遇到错误代码是常有的事,其中错误代码1303在不同数据库系统中可能代表不同的含义
|
2月前
|
SQL 安全 关系型数据库
SQL错误代码1303解析与解决方案:深入理解并应对权限问题
在数据库管理和开发过程中,遇到错误代码是常见的事情,每个错误代码都代表着一种特定的问题
|
7月前
|
SQL NoSQL Java
Flink SQL 问题之执行报错如何解决
Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。
616 2
|
7月前
|
SQL Java 关系型数据库
Flink SQL 问题之用代码执行报错如何解决
Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。
741 6
|
7月前
|
SQL 消息中间件 Oracle
Flink SQL 问题之写入ES报错如何解决
Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。
110 4
|
7月前
|
SQL JSON Java
Flink SQL 问题之重启报错如何解决
Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。
147 3

热门文章

最新文章