开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks在完成调度配置后,提交节点的数据血缘关系如何处理?

dataworks在完成调度配置后,提交节点的数据血缘关系如何处理?

展开
收起
真的很搞笑 2023-10-22 21:00:02 61 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks中,数据血缘关系是一个核心功能,它可以展示当前节点与其他节点之间的关系,包括依赖关系图和内部血缘图两部分。这种关系的确定需要先理解节点的表血缘关系,例如表数据间的血缘关系、表产出的分区数据等。

    当各个节点完成调度配置并提交节点时,DataWorks会检查节点的调度依赖与节点代码中的数据血缘关系是否一致。如果存在不一致的情况,系统会给出提示。这时,您需要根据实际情况查看是否需要修改调度依赖配置。

    此外,DataWorks的数据血缘功能还支持可视化展示敏感数据的血缘关系,自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段,帮助您梳理敏感数据的扩散情况及影响面,提高数据识别效率。

    2023-10-23 11:16:42
    赞同 展开评论 打赏
  • 各个节点在完成调度配置后,提交节点时,DataWorks会检查节点的调度依赖与节点代码中的数据血缘关系是否一致,如果出现不一致的提示,您需要根据实际情况查看是否需要修改调度依赖配置。详情可参见提交节点时提示:输入输出和代码血缘分析不匹配。
    https://help.aliyun.com/document_detail/137550.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-23 08:04:59
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,完成调度配置后,提交节点的数据血缘关系处理主要涉及以下两个方面:

    1. 血缘关系的计算:在调度执行时,DataWorks会自动计算表之间的血缘关系,将血缘关系存储在数据库中。这些血缘关系是根据表的创建时间、依赖关系等因素计算出来的,可以帮助用户了解表之间的数据流动情况。
    2. 血缘关系的展示:在提交节点的数据血缘关系处理时,DataWorks会将计算出来的血缘关系展示在任务的调度界面中,用户可以通过血缘关系图来了解任务的数据流向情况。用户还可以通过点击血缘关系图中的节点,查看该节点的详细信息,包括节点的创建时间、表的名称、表的大小等。
    2023-10-22 22:22:51
    赞同 展开评论 打赏
  • 在DataWorks中,完成调度配置后,提交节点的数据血缘关系会按照以下方式处理:

    1. 自动解析血缘关系:DataWorks会自动解析和更新提交节点的数据血缘关系。当您提交一个节点后(例如一个数据同步任务或数据处理任务),DataWorks会根据节点的输入表、输出表以及中间表等信息,自动识别和更新相关的数据血缘关系。

    2. 血缘关系图展示:DataWorks会在血缘关系图中显示提交节点与其他节点之间的血缘关系。您可以通过查看血缘关系图来了解数据在整个流程中的传递路径和依赖关系。

    3. 血缘关系记录:除了图形化展示,DataWorks还会记录和保存提交节点的血缘关系信息。这些信息可以在数据开发界面中的“血缘记录”中查看,以便更详细地分析和追溯数据的来源和去向。

    2023-10-22 21:19:37
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多