spark程序偶尔会运行超时，怎样才能让sparksql程序如果超过一个小时就自动kill掉？
spark程序偶尔会运行超时，怎样才能让sparksql程序如果超过一个小时就自动kill掉？
展开
收起
1
条回答
写回答
写回答
-
目前从事大数据开发，兼顾平台搭建以及实时数据分析，主要是用scala编写程序，涉及社区开源hadoop集群，emr集群，欢迎有相同兴趣的小伙伴来交流，共同进步。最近在参与flink-java实时开发。可以用crontab 写一个定时脚本去kill掉这个任务的。我的思路是获取到appId，再去杀死这个任务：我之前写的一个脚本可以给你作参考 for i in ''yarn application -list | grep -w appName| awk '{print $1}'| grep application_''; do yarn application -kill $i; done
其中appName是你自定义的进程名。 脚本执行时间定义为一个小时执行一次就可以了
2019-11-06 10:26:40赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
