在DataWorks中,孤立节点的产生会自动触发报警机制。如果您收到了孤立节点的报警信息,首先需要确认孤立节点上游节点的状态是否正常,然后可以尝试为孤立节点重新设置依赖关系。
如果发现周期任务有周期实例但未运行(节点状态灰色),可以通过右键灰色实例DAG并展开多层父节点来检查任务的状态。如果所有状态都是灰色,那么可能是上游依赖关系变动导致业务流程被孤立。在这种情况下,您需要检查整个业务流程,确定是否有正在运行、运行中、运行失败或等待的任务,或者任务是否被冻结。如果以上情况都不存在,可能需要使用独享调度资源来解决问题。
总的来说,孤立节点的处理方法主要包括检查上游节点状态、重新设置依赖关系和调整调度资源等步骤。同时,对于周期性任务,还需要定期进行监控扫描以及及时处理报警信息,以确保任务可以正常产生周期实例并且自动调度运行。
孤立节点报警造成的原因:1、配置任务上游没有转出实例; 2、业务流程上游有挂旧版工作流的内部节点; 碰到上面的两种情况都需要用户这边修改,否则会给您报警提示。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks的孤立节点报警是系统内置的,会在检测到孤立节点时自动触发。该规则无需手动新建,会以短信和邮件的方式通知节点责任人。同时,您也可以在规则管理页面中对全局规则进行修改,调整报警接收人。每晚,DataWorks会根据周期任务生成第二天待自动调度运行的周期实例,为了确保周期任务可以正常产生周期实例并自动调度运行,系统会对周期任务进行定期监控扫描,如有异常便会触发报警。
孤立节点的产生可能由两种情况引发:一是配置任务的上游没有转出实例;二是业务流程上游存在挂起的旧版工作流的内部节点。如果收到报警但未收到电话、短信或邮件通知,需要先确认如何在DataWorks中配置报警联系人的手机、邮箱。另外,DataWorks每天会定时对周期任务状态进行扫描,例如9点、12点、16点等时间点,如果发现工作空间内存在孤立节点或节点成环等异常现象,系统将会自动发送报警。
在DataWorks中,如果你的孤立节点出现报警,你可以按照以下步骤来处理:
如果在 DataWorks 中的孤立节点出现报警,可以按照以下步骤进行处理:
登录 DataWorks 控制台,在工作空间中找到对应的项目,并进入该项目页面。
点击左侧导航栏中的"运维中心"菜单,进入运维中心页面。
在运维中心页面中选择"告警中心"标签页,找到针对孤立节点的报警信息。点击该报警信息,可查看详细的报警内容和报警时间。
确认报警后,分析孤立节点的原因。常见的孤立节点原因包括任务依赖关系异常、资源不足、网络故障等。可以根据报警信息和日志信息来排查问题。
根据具体原因采取相应的措施解决问题。例如,如果是任务依赖关系异常,需要检查该任务的依赖配置是否正确;如果是资源不足,可以增加相应资源的配额;如果是网络故障,需要检查网络连接情况。
修复问题后,观察孤立节点是否恢复正常。如果问题得到解决,报警应该会自动消失。
孤立节点监控报警
DataWorks每晚根据周期任务生成第二天待自动调度运行的周期实例,所以为保障周期任务可以正常产生周期实例并且自动调度运行,DataWorks内置了报警规则来对周期任务进行定期监控扫描,如有异常便会自动报警。孤立节点产生后会自动报警,如果收到孤立节点报警请及时处理。具体如下:
DataWorks每天定时9点、12点、16点对周期任务状态进行扫描,如有异常将会自动发送报警,但扫描时间点前10分钟内产生异常不会纳入本次扫描,该异常将会被纳入下一个周期的任务状态扫描中进行扫描。
节点孤立报警为系统内置报警规则,您无须手动新建,默认以短信、邮件的方式报警给节点责任人。但您可以在规则管理页面中针对全局规则修改报警接收人。详情请参见规则管理。
https://help.aliyun.com/zh/dataworks/user-guide/create-a-custom-alert-rule#task-2364475
如果在DataWorks中出现孤立节点报警,可以按照以下步骤进行处理:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。