Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?
默认情况下,Flink CDC的Sql Client并不支持直接提交到YARN集群。要让Sql Client支持提交到YARN集群,您需要配置相应的参数。
具体而言,您可以在Sql Client的命令行参数中添加如下选项:
--execution-mode yarn-cluster
此外,您还需要配置Hadoop和YARN的相关环境变量,并确保它们能够被Sql Client所发现。这些环境变量通常包括HADOOP_CONF_DIR、YARN_CONF_DIR以及HADOOP_CLASSPATH等。
最后,当Sql Client运行在YARN集群上时,它会创建一个新的YARN应用,该应用会在YARN集群上启动一个独立的任务管理器,并由该任务管理器负责调度和执行Sql Client中的作业。
在使用Flink CDC(Change Data Capture)时,如果你想将任务提交到YARN(Yet Another Resource Negotiator)上,你需要使用特定的命令行参数来启动SQL客户端。
首先,你需要使用bin/yarn-session.sh
脚本启动一个YARN session。然后,你可以使用bin/sql-client.sh
脚本启动SQL客户端,并在启动时指定-s yarn-session
选项。这样,你启动的SQL客户端就会自动连接到刚才启动的YARN session,并将在这个session中执行的SQL语句转换为Flink job提交到YARN上。
请注意,如果你在启动SQL客户端时没有指定-s yarn-session
选项,那么SQL客户端将会默认连接到Flink的standalone集群。此外,启动YARN session和SQL客户端必须使用相同的用户,否则可能会遇到连接拒绝的错误。
Flink SQL Client默认是在本地环境中运行的,并不会直接提交到YARN上。如果你想将任务提交到YARN上运行,你需要显式指定参数--execution-mode yarn-cluster
或者--execution-mode yarn-session
来启动Flink SQL Client。你还可以在启动的时候设置额外的参数,例如--parallelism
用于控制任务的并行度,--yarn-application-name
用于设置YARN应用的名字等等。具体的参数说明可以参考Flink的官方文档。将任务提交到YARN上运行需要事先安装好Hadoop和YARN,并且配置好相应的环境变量和参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。