开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中DI离线节点能看到每次运行同步是数据行数吗?或者在哪里会有统计吗?

DataWorks中DI离线节点能看到每次运行同步是数据行数吗?或者在哪里会有统计吗?我想做个监控

展开
收起
真的很搞笑 2023-12-10 19:39:29 83 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,您可以在运维大屏的"离线同步"页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计等信息。这些统计数据可以帮助您监控DI离线节点每次运行的数据行数。此外,如果需要查看更详细的同步任务执行详情,如任务是否产生公网等条件过滤目标任务,您也可以在此页面进行相关操作。通过这种方式,您可以有效地对DI离线节点的运行情况进行监控和管理。

    2023-12-11 10:11:39
    赞同 展开评论 打赏
  • 在 DataWorks DI(数据集成)离线节点中,您可以通过以下方式查看每次运行同步的数据行数和相关统计信息:

    1. 任务日志:在 DataWorks 控制台,找到对应的 DI 离线节点任务,并进入任务详情页面。在任务详情页面中,您可以查看该任务的运行日志。通常,任务日志会记录每个任务运行时的详细信息,包括数据行数、成功记录数、失败记录数等。

    2. 数据质量报告:DI 离线节点提供了数据质量评估功能,可以生成数据质量报告。在任务运行完成后,您可以查看数据质量报告,其中包含了数据行数、重复记录数、空值记录数等统计信息。您可以在任务详情页面的“报告”选项卡中找到数据质量报告。

      注意:数据质量报告需要配置数据质量规则和指标才能生成,因此确保已经配置了相应的数据质量规则。

    3. 聚合函数和阶段性输出:在任务流程中,您可以使用聚合函数或将数据输出到中间表来进行阶段性统计。通过在任务流程中添加自定义统计逻辑,您可以实时获取数据行数或其他统计信息。

      示例 SQL:

      -- 统计总行数
      SELECT COUNT(*) AS total_rows FROM your_table;
      
      -- 统计成功记录数
      SELECT COUNT(*) AS success_records FROM your_table WHERE status = 'SUCCESS';
      
      -- 统计失败记录数
      SELECT COUNT(*) AS failed_records FROM your_table WHERE status = 'FAILED';
      
    2023-12-10 21:41:30
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多