问题一:Flink CDC里flink1.18同步mysql-starrocks pipeline什么问题?
Flink CDC里flink1.18同步mysql-starrocks pipeline这是什么问题?
参考回答:
应该是session创建时的flink版本和提交时不一致。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592398
问题二:Flink CDC里这是什么问题?
Flink CDC里这是什么问题?
参考回答:
大概是你的flink-connector-jdbc驱动有点低了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592395
问题三:Flink CDC里这个报错需要调整什么参数吗?
Flink CDC里这个报错需要调整什么参数吗,mysql本身看连接数和连接是正常的
参考回答:
检查connection-size 是不是超过了20个
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592394
问题四:Flink CDC里我现在想同步数据从mysql-doris,3.0的包能否实现?
Flink CDC里我现在想同步数据从mysql-doris,包括表结构变化功能,我现在直接下载flink-sql-connector-mysql-cdc
3.0的包能否实现,还是必须使用那个pipeline包?
参考回答:
必须用pipeline连接器的包,去看快速文档教程有case。以前的方式还可以继续使用,但是不支持整库同步哈,不支持字段更改。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592393
问题五:Flink CDC里搭建flink的集群需要ssh协议么?
Flink CDC里搭建flink的集群需要ssh协议么?公司安全部不允许服务器之间进行ssh连接 这个可咋整?
参考回答:
Apache Flink CDC 集群的搭建并不严格要求服务器之间必须通过SSH协议进行连接。Flink集群节点间主要是通过网络通信来协同工作,比如TaskManager与JobManager之间的交互是基于Akka远程过程调用(RPC),以及用于数据交换的网络套接字。
然而,在实际部署和运维过程中,SSH协议经常被用来进行远程登录管理、文件传输以及其他初始化配置,比如启动和停止集群服务等。如果没有SSH连接,以下操作将会受到影响:
- 脚本执行:如果你是通过SSH在各个节点上执行安装和启动命令,没有SSH会导致无法远程控制各个节点。
- 日志查看:SSH也是实时查看和收集集群节点日志的常用手段。
- 集群动态扩展:若使用YARN、Kubernetes或Mesos等资源管理系统部署Flink,虽然不需要直接SSH,但如果系统内部依赖SSH进行某些步骤,如容器内启动进程,则仍需解决SSH访问问题。
针对不允许SSH连接的情况,可以考虑以下替代方案:
- 安全组规则:如果公司的安全策略允许,可以配置防火墙规则或安全组规则,仅开放必要的端口,如JobManager的RPC端口、TaskManager的数据通信端口以及用于监控的日志服务端口等。
- 无密码密钥交换:如果允许某种形式的安全自动化运维,可以采用密钥对的方式代替密码认证,实现无密码SSH连接,这通常更安全。
- 集中化管理平台:使用企业级集群管理工具或云服务提供的API进行自动化部署和运维,避免直接SSH访问。
- 内部网络通信:确保Flink集群节点间的网络通信不受影响,通过HTTP、HTTPS或者其他安全的远程调用协议完成必要的管理和控制任务。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592390