开发者社区> 问答> 正文

flink on yarn错误“Yarn只有-1个虚拟核心可用”

"我已经安装了Cloudera CDH 6,然后我想使用flink网站上的软件包安装flink,并运行它“flink on yarn”。

我已完成以下步骤:1。编辑/ etc / profile

export HADOOP_CONF_DIR = / opt / cloudera / parcels / CDH-6.0.0-1.cdh6.0.0.p0.537114 / lib / hadoop / etc / hadoop

执行./yarn-session.sh -n 4 -jm 2048 -tm 2048 -s 3 -nm FlinkOnYarnSession -d -st
但它总是显示:

每个节点的虚拟核心数配置为4,但Yarn只有-1个虚拟核可用。请注意,除非在Flink配置中使用'yarn.containers.vcores'进行配置,否则默认情况下虚拟核心数将设置为任务槽数。

这是一个新的集群,没有工作正在运行,我在yarn webUI中看到有20个可用的vcores。

"

展开
收起
flink小助手 2018-11-28 16:36:05 4152 0
3 条回答
写回答
取消 提交回答
  • 请问flink1.9.0-cdh6.3.0从:https://www.cloudera.com/downloads/cdf/csa-trial.html处下载安装运行在cdh6.3.0中后,只能运行:flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/WordCount.jar --input hdfs://master:8020/user/root/testflink.txt --output hdfs://master:8020/user/root/flink/wordcount_output,该安装包下所提供的其他示例,如:flink run /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/SocketWindowWordCount.jar --port 9009却报错见:https://developer.aliyun.com/ask/133744?spm=a2c6h.13159736,而由于我cdh未启用kerberos安全认证功能,故我在cdh的flink“配置”处清除了默认的两个选项共三个默认值:Client和KafkaClient、flink.keytab,重启后运行flink list命令仍报错:WARN zookeeper.ClientCnxn: SASL configuration failed。请问如何弃用此安全功能?

    2020-01-11 16:04:11
    赞同 展开评论 打赏
  • 然后就可以正常运行了?

    2019-07-17 23:16:53
    赞同 展开评论 打赏
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    "这是由于flink中的一个错误,详细信息可以在这里查看:https://issues.apache.org/jira/browse/FLINK-5542

    使用flink 1.6.1版本,我通过修改yarn-site.yml并添加cpu-vcores参数解决了这个问题。

    vim $HADOOP_CONF_DIR/yarn-site.yml
    添加yarn.nodemanager.resource.cpu-vcores属性,例如将其设置为8。

    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>

    "

    2019-07-17 23:16:53
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载