"我已经安装了Cloudera CDH 6,然后我想使用flink网站上的软件包安装flink,并运行它“flink on yarn”。
我已完成以下步骤:1。编辑/ etc / profile
export HADOOP_CONF_DIR = / opt / cloudera / parcels / CDH-6.0.0-1.cdh6.0.0.p0.537114 / lib / hadoop / etc / hadoop
执行./yarn-session.sh -n 4 -jm 2048 -tm 2048 -s 3 -nm FlinkOnYarnSession -d -st
但它总是显示:
每个节点的虚拟核心数配置为4,但Yarn只有-1个虚拟核可用。请注意,除非在Flink配置中使用'yarn.containers.vcores'进行配置,否则默认情况下虚拟核心数将设置为任务槽数。
这是一个新的集群,没有工作正在运行,我在yarn webUI中看到有20个可用的vcores。
"
请问flink1.9.0-cdh6.3.0从:https://www.cloudera.com/downloads/cdf/csa-trial.html处下载安装运行在cdh6.3.0中后,只能运行:flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/WordCount.jar --input hdfs://master:8020/user/root/testflink.txt --output hdfs://master:8020/user/root/flink/wordcount_output,该安装包下所提供的其他示例,如:flink run /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/SocketWindowWordCount.jar --port 9009却报错见:https://developer.aliyun.com/ask/133744?spm=a2c6h.13159736,而由于我cdh未启用kerberos安全认证功能,故我在cdh的flink“配置”处清除了默认的两个选项共三个默认值:Client和KafkaClient、flink.keytab,重启后运行flink list命令仍报错:WARN zookeeper.ClientCnxn: SASL configuration failed。请问如何弃用此安全功能?
"这是由于flink中的一个错误,详细信息可以在这里查看:https://issues.apache.org/jira/browse/FLINK-5542
使用flink 1.6.1版本,我通过修改yarn-site.yml并添加cpu-vcores参数解决了这个问题。
vim $HADOOP_CONF_DIR/yarn-site.yml
添加yarn.nodemanager.resource.cpu-vcores属性,例如将其设置为8。
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。