Flink我使用taskmanager起了正常,然后在用start-cluster.sh进程数翻倍了,脚本不会判断起了就不起新进程嘛?
这种独立模式会重复启动进程!而且还会杀不掉进程,导致taskmanager进程一直在,此回答整理自钉群“【③群】Apache Flink China社区”
start-cluster.sh
脚本默认会启动所有配置的TaskManager实例。如果你已经启动了所有的TaskManager实例,那么这个脚本就不会再启动新的TaskManager实例。
你可以通过查看日志来判断是否所有的TaskManager实例都已经启动了。在日志中,你会看到类似于以下的输出:
JobGraph is available and will be deployed.
Deployment of job graph has been triggered.
Submitted job graph to ResourceManager.
JobGraph is now deployed.
如果在一段时间内没有看到类似的输出,那么可能有一些TaskManager实例还没有启动。
另外,你也可以通过查看Flink的Web UI来判断是否所有的TaskManager实例都已经启动了。在Web UI中,你会看到所有运行的TaskManager实例。
如果你想要控制启动的TaskManager实例的数量,你可以通过修改conf/flink-conf.yaml
文件来实现。在这个文件中,你可以设置jobmanager.memory.process.size
和taskmanager.memory.process.size
参数来控制JobManager和TaskManager的内存大小,从而控制启动的TaskManager实例的数量。
Flink的start-cluster.sh脚本默认情况下会启动指定数量的TaskManager进程。如果你在启动集群后发现进程数翻倍,可能是因为你的集群配置发生了变化,例如增加了新的TaskManager节点或者修改了TaskManager的数量。
你可以尝试以下方法来解决这个问题:
taskmanager.numberOfTaskSlots: 4
这将启动4个TaskManager进程。你可以根据你的需求和硬件资源来调整这个值。
./bin/start-cluster.sh -n <number_of_taskmanagers>
将<number_of_taskmanagers>
替换为你想要启动的TaskManager数量。
./bin/flink list
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。