开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?

Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?

展开
收起
真的很搞笑 2023-11-21 09:16:56 146 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    默认情况下,Flink CDC的Sql Client并不支持直接提交到YARN集群。要让Sql Client支持提交到YARN集群,您需要配置相应的参数。
    具体而言,您可以在Sql Client的命令行参数中添加如下选项:

    --execution-mode yarn-cluster
    

    此外,您还需要配置Hadoop和YARN的相关环境变量,并确保它们能够被Sql Client所发现。这些环境变量通常包括HADOOP_CONF_DIR、YARN_CONF_DIR以及HADOOP_CLASSPATH等。
    最后,当Sql Client运行在YARN集群上时,它会创建一个新的YARN应用,该应用会在YARN集群上启动一个独立的任务管理器,并由该任务管理器负责调度和执行Sql Client中的作业。

    2023-11-21 23:10:14
    赞同 展开评论 打赏
  • 在使用Flink CDC(Change Data Capture)时,如果你想将任务提交到YARN(Yet Another Resource Negotiator)上,你需要使用特定的命令行参数来启动SQL客户端。

    首先,你需要使用bin/yarn-session.sh脚本启动一个YARN session。然后,你可以使用bin/sql-client.sh脚本启动SQL客户端,并在启动时指定-s yarn-session选项。这样,你启动的SQL客户端就会自动连接到刚才启动的YARN session,并将在这个session中执行的SQL语句转换为Flink job提交到YARN上。

    请注意,如果你在启动SQL客户端时没有指定-s yarn-session选项,那么SQL客户端将会默认连接到Flink的standalone集群。此外,启动YARN session和SQL客户端必须使用相同的用户,否则可能会遇到连接拒绝的错误。

    2023-11-21 14:58:48
    赞同 展开评论 打赏
  • Flink SQL Client默认是在本地环境中运行的,并不会直接提交到YARN上。如果你想将任务提交到YARN上运行,你需要显式指定参数--execution-mode yarn-cluster或者--execution-mode yarn-session来启动Flink SQL Client。你还可以在启动的时候设置额外的参数,例如--parallelism用于控制任务的并行度,--yarn-application-name用于设置YARN应用的名字等等。具体的参数说明可以参考Flink的官方文档。将任务提交到YARN上运行需要事先安装好Hadoop和YARN,并且配置好相应的环境变量和参数。

    2023-11-21 14:22:48
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载