阿里云开发者社区作为一个充满活力的技术社区,有许多技术同道在这里勤学好问。为了让这些用户的疑惑得到解答,我们举办了“百问求答”活动,本期为Flink CDC专场,期待用你的技术知识储备帮助同行解决难题,赢取康宁颈部按摩仪等好礼,还有机会成为阿里云开发者社区“乘风问答官”,享受专属权益!赶快参与起来!
图文并茂定义:图片需要能起到辅助回答的说明作用,如配合回答内容的流程截图、界面截图等,每个图文并茂的回答需至少包含2张图片,纯插图、代码截图等不计入内;有效的图文并茂回答示例:
https://developer.aliyun.com/ask/498337 该问题中“凌云cloud”的回答
https://developer.aliyun.com/ask/493319 该问题中“凌云cloud”和“飞云觅宙”的回答
乘风问答官权益可点击https://developer.aliyun.com/ask/469378进行查看。
1、点击https://yida.alibaba-inc.com/o/wdg进行报名(未报名用户将视为未参与,请大家填写表单进行报名);
2、回答文末Flink CDC问题
2023年8月14日至8月28日24:00
获奖名单将于活动结束后7个工作日公布,奖品将于10个工作日内进行邮寄,节假日顺延。
1、本活动回答数据不记录问答官排位赛活动中;
2、 回答仅限文章链接中的问题,其他回答不计数;
3、 回答请解答能力范围之内的问题进行,充数回答将不计算在内,如111、等与问题无关的回答;
4、 问题及回答需为中文,英文不记录数据;
5、 回答发布后将进入审核状态,审核完成即可查看;
6、 标题党、黑稿、通稿、包含违法违规、未被许可的商业推广、外站链接、非原创内容、营销软文、抄袭嫌疑的文章审核将不予通过,同时取消参赛资格;
7、奖品不叠加,以最高级发放。
1、目前flinkCDC对Oracle数据库同步支持的怎么样啊,特别Oracle数据库有那种长的大事务的任务的,flinkCDC同步性能好不好,会不会丢失数据有bug什么的呀?
2、Flink CDC中关于开启新增的分表不自动采集,这个行为是就这么设计的吗,我看源码这里是直接判断?
3、Flink CDC可不可以在从sp,或是cp恢复的时候重新读取下元数据,这个新增字段的时候就只用停掉,然后再接上scn就好了?
4、Flink CDC中我采集Oracle,历史数据有10几条,但是全量就采集出来4条?
6、谁有flinkcdc 到gaussdb的实践案例?有相关连接器吗
7、Flink CDC哪位大佬知道flinkcdc配置时间戳后读不出来数据咋搞呀?
8、FLinkCDC连接Oracle数据库,造成PGA内存增加,最后PGA成负值的情况
9、在使用flinkcdc 同步 oceanbase(企业版本)数据到kafka时,logproxy.host 参数怎么获取?
10、flinkcdc同步db2的表,需要对db2做哪些配置啊?
13、flinkcdc读取oracle时,想把sid改成servers_name 应该修改源码?
14、flinkcdc从特定位置拉取的时候从checkpoint恢复报错是什么原因呀?从特定位置启动和特定gtid启动都不行
15、flinkcdc2.4底层debezium版本的多少?
16、有没有遇到过用FlinkCDC采集Oracle,报字典内部错误的情况?
17、用flinkcdc-oracle2.2.1全量同步数据到kafka,开始很快,然后掉一大截?
19、FLINKCDC-1.13.0 多个任务同时向一个表里插入,是不是会有权限控制问题?
20、有使用flinkcdc同步tidb数据吗 ? 测试发现小表是可以同步的 大表的话一直卡在read snapshot events 读全量数据上面 ?
21、我刚刚用flinkcdc-oracle2.2 连oracle-19c提示我sid不识别 有大佬分享一下jar包吗?
22、FLINKCDC-1.13.0 多个任务同时向一个表里插入,是不是会有权限控制问题?
23、我们使用flinkcdc运行中遇到的问题问题,此任务是读取kafka服务的数据流,并flinkcdc中的mysqlcdc读取mysql中维表补齐一些维表数据 最后写入到数据库报错
25、FlinkCDC采集Oracle数据一段时间后(通常是历史数据采集完成后不久),报错:Logminer 字典内部错误,是什么原因呀?
26、flinkcdc同步时候原表目标表的字符集不一样会受到影响吗?
28、使用FlinkCDC采集到Blob数据之后怎么处理,比如说我从Oracle采集,再写入到另一个Oracle?
29、flinkcdc有大佬监控整个postgresql库的吗,性能怎么样?
30、使用flinkcdc读取postgressql的多个表的时候,在读取这个表的时候出现了错误。但是我把代码改成只读取这一个表的时候又没有出现问题。这种情况应该考虑哪里的问题?是不是内存不够?
31、flinkcdc2.4版本会支持pg(11.6版本)备库数据实时同步吗?
32、我flinkcdc同步mysql 数据sink到hologres报错 字段包含空字节信息 能这么替换解决么 我replace还是有同样的错误?
33、目前flinkCDC对Oracle数据库同步支持的怎么样啊,特别Oracle数据库有那种长的大事务的任务的,flinkCDC同步性能好不好,会不会丢失数据有bug什么的呀?
35、flinkcdc我安装包都重新解压了,怎么感觉历史执行的任务还在?这个要怎么完全清理掉?
36、请问Flink CDC这个是什么原因啊?我在网上看是说jar包冲突
37、flinkcdc通过vip连接MySQL(一主一备),如果发生主备切换,该怎么弄呀?
38、flinkcdc是不是不支持在Oracle 备库跑的?我们今天直接生产主库连接打爆了?
39、flinkCDC必须是全表字段授权吗,还是支持部分字段授权?
40、FlinkCDC读取表,源表是不是得所有列有权限可见,不能只授权部分字段可读?
42、有没有人在做flinkcdc 同步mysql 到hudi的时候,同步hive数据 比较慢?
43、flinkcdc 2.3现在 应该可以兼容 flink1.17版本吧?
47、flinkcdc从数据源表获取数据,如果因为网络慢,造成很长时间才能获取,导致超时复制槽被认定为非激活状态后关闭,大家遇到过吗?
49、用flinkcdc sql的形式连过oracle,为什么我的不报错,也不打印结果
50、springboot+引入flink和flinkcdc的jar,为什么不建议在生产跑,造成资源不足的原因是什么呢,datastreamAPI接入方式只适合测试用用吗
53、flinkcdc自定义反序列化器,不能直接返回SourceRecord类型嘛
54、flinkcdc想做每日离线同步,如何扫完全表快照自动停止flink任务呀
55、flinkcdc可以基于查询做同步吗?不通过日志,根据记录的时间戳做增量同步(不考虑删除的场景)
58、flink1.16.1 配合flinkcdc2.3.0 还需要加上其他依赖吗
59、flinkcdc选择从binlog固定位置启动的话开启checkpoint会报错是什么原因呀?
60、flinkcdc现在支持oceanbase企业版的oracle模式吗
61、部署了flinkcdc demo环境,报错如下,是什么原因?
62、flinkcdc 运行一段时间报这个错是啥原因导致的 ?
63、flinkcdc运行过程中任务异常怎么回事 是反压了么?
64、请问大家注意过flinkcdc 2.3.0 读取oracle连接数一直增长的问题吗?
65、请问flinkcdc同步oracle数据 连接数一直在增长是什么原因呢 ?
66、请问大家flinkcdc同步oracle全量很慢 有什么好的办法吗?
67、flinkcdc是不是需要数据库的读写权限啊?如果是只读数据库,是不是不能用啊?
68、使用flinkcdc 连接mysql读取数据,会提示找不到binlog信息,为什么?
70、你们使用flinkcdc的时候内存占用打吗,我在使用的时候,一直fullgc,不能回收空间
71、flinkcdc2.3.0 读取oracle 为何读不到数据 taskmanager的日志一直卡在这
73、我用Flink CDC flinkcdc读取postgresql,只能获取到全量数据,获取不到增量数据,是什么问题
74、flinkcdc-mongo有没有办法监控到采集的堆积/延时情况?
75、在数据库里显示的是数字,用flinkcdc采集反序列化后成了字符串了,而且不是数字的字符串
76、我用flinkcdc读取postgresql,只能获取到全量数据,获取不到增量数据,是什么问题
78、请问使用FlinkCDC监控MySQL的binlog,FlinkCDC使用的这个MySQL用户需要赋予某些权限吗?
79、Flink CDC flinkcdc-doris fenodes参数可以填多个fe节点吗?
80、flinkcdc采集oracle 增加新的表时 从checkpoint恢复 有时候报错新增的表无法识别
81、flinkcdc连接mysql ,无法连接这个问题遇到过吗,超时时间也加长了
82、flinkcdc在sql模式下同步表是不是只能一对一同步的,如果我有200多张表岂不是要拿200多次binlog? 拿binlog 是拿全量过来再过滤吗?
83、FlinkCDC同步MySQL数据表,表字段变少了有人碰到过嘛?
84、通过flinkcdc同步mysql之后的数据是原始数据库的逐条执行的记录。怎么通过这些记录反推原始的表呢?
85、flinkcdc读取mysql,配置mysql账号 只配置可读权限可以么?
86、目前的FlinkCDC支持Oracle21c吗?实测Oracle21c各种问题
87、FlinkCDC可以对MySQL中的某些字段做特殊过滤吗,比如有的blob类型的字段长度过长,写入kafka会有异常
89、flinkcdc获取数据报空指针是因为啥,是不是因为我们数据库是tidb模拟的mysql,我用的是mysql的source
90、flinkcdc同步oracle时,能否同步其ddl语句?如何设置?
92、现在我使用FlinkCDC从Mysql导入到Doris,1分钟10W数据 这正常吗 有啥参数调整可以提高导入效率吗?还是跟硬件配置正相关吗?5M带宽,这个参数貌似也没有提高效率。
93、官网demo报无效的列索引,困扰我两天了,能否帮看看,flinkcdc oracle 2.2.1
94、flinkcdc在读取数据同步到另一个数据库的时候,一些update的操作是如何保证顺序的呢?
97、flinkcdc的时候 checkpoints里的mysql binlog pos不变吗?
98、FlinkCDC-Mysql-SQL 多表join,sink怎么解决一对多的问题?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。