flink做流表维表关联，每天TB级数据量，维表存储在mysql。程序提交后，查看背压率为1.严重背压了
flink源是kafka，sink到hdfs。用到算子filter、process算子
filter按规则过滤
process关联维表，并作数据转换拼接
从flinkUI中看到filter方框的背压率为1，查看参数是output产生的背压，也就是process算子产生的背压。
优化手段：
checkpoint存储到rockDB，缩短checkpoint时间
给维表添加缓存，先读缓存，读不到再读数据库
mysql匹配字段添加索引
提高process算子并行度
flink背压问题解决记录
2021-08-17
685
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
flink做流表维表关联，每天TB级数据量
目录
相关文章
|
6月前
|
消息中间件
缓存
监控
|
6月前
|
消息中间件
Java
Kafka
Flink背压问题之checkpoint超时如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
141
1
1
|
6月前
|
消息中间件
监控
Java
|
消息中间件
存储
监控
|
监控
Java
分布式数据库
Flink/Hbase - Sink 背压100% 与 hbase.util.RetryCounter.sleepUntilNextRetry 异常分析与排查
Flink-hbase 任务 hbase.util.RetryCounter.sleepUntilNextRetry 堆栈问题分析与排查。
448
0
0
|
监控
Java
Apache
|
流计算
缓存
监控
深入了解 Flink 网络栈（二）：监控、指标和处理背压
在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。
8598
0
0
|
Java
流计算
|
Java
流计算
Flink如何应对背压问题
经常有人会问Flink如何处理背压问题。其实，答案很简单：Flink没用使用任何通用方案来解决这个问题，因为那根本不需要那样的方案。它利用自身作为一个纯数据流引擎的优势来优雅地响应背压问题。这篇文章，我们将介绍背压问题，然后我们将深挖Flink的运行时如何在task之间传输数据缓冲区内的数据以及流数据如何自然地两端降速来应对背压，最终将以一个小示例来演示它。
2095
0
0
|
2月前
|
运维
数据处理
数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践，展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现，并对比自建Flink集群的优势。最后，报告评估了其成本效益，强调了其灵活扩展性和高投资回报率，适合各类实时数据处理需求。
91
12
12
热门文章
最新文章
1
Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践
2
Flink: 实时规则引擎助力新零售发展
3
Flink SQL 实战：双流 join 场景应用
4
Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
5
Apache Flink 漫谈系列(06) - 流表对偶(duality)性
6
Flink的DataSource三部曲之三:自定义
7
Flink 消息聚合处理方案
8
Flink - 新增 BroadcastStream 无 watermark 导致数据流异常
9
Flink的sink实战之四：自定义
10
Flink对迟到数据的处理
1
flink最新master代码编译出现Java Runtime Environment 问题
79
2
阿里云实时计算Flink的产品化思考与实践【下】
111521
3
有没有 大佬用 springboot 启动flink 处理 ，发现springboot 加 schedule调度处理会内存占满情况？
192
4
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的
178
5
Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
760
6
flink 入门编程day02
79
7
如果有多个版本的Flink CDC在同一环境中运行，可能会导致Debezium版本冲突
72
8
Flink CDC有见这个报错不？
88
9
官宣｜Apache Flink 1.19 发布公告
2385
10
flink1.18 SqlGateway 的使用和原理分析
415