Flink问题之自定义分隔符写入如何解决

简介: Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。

问题一:Flink SQL JDBC connector不能checkpoint怎么办


Flink开发者们,你们好:

我在使用flink开发过程中遇到一个问题,在使用jdbc做维度表关联时,该算子很快就finished了,从而导致无法正常的checkoint(我看源码中checkpoint前会检查所有算子状态必须为running),请问目前有什么参数可以使jdbc不finished或者在算子finished后依然可以checkpoint么?如果没有,那对这种情况的支持是否列入flink未来版本的开发计划中?

期待你们的回信

祝各位工作顺利,谢谢*来自志愿者整理的flink邮件归档


参考回答:

hi, 请问使用的Flink版本是什么呢?猜测你应该是写成普通的join方式了,可参考 [1] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sql/queries.html#joins


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359156?spm=a2c6h.13262185.0.0.51804c79pMhZZN


问题二:沃特MySQL cdc时态表join怎么办?


mysql cdc表 和kafka表关联,应该怎么写,有对应示例吗?*来自志愿者整理的flink邮件归档


参考回答:

可以参考 hhttps://github.com/leonardBang/flink-sql-etl/tree/master/flink-demo/flink-temporal-join-demo


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359158?spm=a2c6h.13262185.0.0.51804c79pMhZZN


问题三:Flink Native Kubernetes 部署模式下,如何开启Queryable State?


各位好: 请教Flink 1.12.1 在Flink Native Kubernets部署模式下,如何开启Queryable State呢?官网提供了Standaleon K8S下开启的说明(https://ci.apache.org/projects/flink/flink-docs-stable/deployment/resource-providers/standalone/kubernetes.html#enabling-queryable-state),但Native K8S部署模式下,无论是Session还是Application 模式,Flink相关k8s spec基本都是由flink代码生成,尤其是Queryable State端口以及相关K8S Service没有非常便利的自动生成及部署办法。*来自志愿者整理的flink邮件归档


参考回答:

和Standalone一样,你可以按照自己创建一个taskmanager-query-state-service,然后把selector修改一下就好了

native会自动添加如下的label,可以filter出来属于一个Flink cluster的TaskManager

app:

component: taskmanager

type: flink-native-kubernetes


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359159?spm=a2c6h.13262185.0.0.51804c79pMhZZN


问题四:Flink on Native K8S模式下如何配置StandBy做高可用?


Flink on K8S Standalone模式下可以通过yaml启多个JM,但是在Native K8S模式下要如果做呢?有文档资料介绍吗?谢谢!*来自志愿者整理的flink邮件归档


参考回答:

目前已经有了一个ticket来跟进了,https://issues.apache.org/jira/browse/FLINK-17707

应该在1.13里面可以支持


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359160?spm=a2c6h.13262185.0.0.51804c79pMhZZN


问题五:FileSystemTableSink支持自定义分隔符写入吗?


Hi,有个疑问:

FileSystemTableSink 目前看是有csv和json的普通文本写入。

后续能支持配置 “字段分隔符” 写入文件系统吗?*来自志愿者整理的flink邮件归档


参考回答:

通过设置properties(csv.field-delimiter)可以指定分隔符。不过只能指定单字符。多字符分割不支持。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/359161?spm=a2c6h.13262185.0.0.51804c79pMhZZN

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
消息中间件 分布式计算 大数据
大数据-113 Flink DataStreamAPI 程序输入源 自定义输入源 非并行源与并行源
大数据-113 Flink DataStreamAPI 程序输入源 自定义输入源 非并行源与并行源
168 0
|
分布式计算 监控 大数据
大数据-114 Flink DataStreamAPI 程序输入源 自定义输入源 Rich并行源 RichParallelSourceFunction
大数据-114 Flink DataStreamAPI 程序输入源 自定义输入源 Rich并行源 RichParallelSourceFunction
228 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
360 0
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(二)
305 0
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
658 9
|
Java Shell Maven
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
741 4
|
资源调度 调度 流计算
Flink 细粒度资源管理问题之为不同的SSG配置资源如何解决
Flink 细粒度资源管理问题之为不同的SSG配置资源如何解决
|
存储 NoSQL 分布式数据库
Flink 细粒度资源管理问题之调整 slot 配置来提高资源利用效率如何解决
Flink 细粒度资源管理问题之调整 slot 配置来提高资源利用效率如何解决
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
892 0
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
1127 2

热门文章

最新文章

相关产品

  • 实时计算 Flink版