DataWorks中DI离线节点能看到每次运行同步是数据行数吗?或者在哪里会有统计吗?我想做个监控
在DataWorks中,您可以在运维大屏的"离线同步"页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计等信息。这些统计数据可以帮助您监控DI离线节点每次运行的数据行数。此外,如果需要查看更详细的同步任务执行详情,如任务是否产生公网等条件过滤目标任务,您也可以在此页面进行相关操作。通过这种方式,您可以有效地对DI离线节点的运行情况进行监控和管理。
在 DataWorks DI(数据集成)离线节点中,您可以通过以下方式查看每次运行同步的数据行数和相关统计信息:
任务日志:在 DataWorks 控制台,找到对应的 DI 离线节点任务,并进入任务详情页面。在任务详情页面中,您可以查看该任务的运行日志。通常,任务日志会记录每个任务运行时的详细信息,包括数据行数、成功记录数、失败记录数等。
数据质量报告:DI 离线节点提供了数据质量评估功能,可以生成数据质量报告。在任务运行完成后,您可以查看数据质量报告,其中包含了数据行数、重复记录数、空值记录数等统计信息。您可以在任务详情页面的“报告”选项卡中找到数据质量报告。
注意:数据质量报告需要配置数据质量规则和指标才能生成,因此确保已经配置了相应的数据质量规则。
聚合函数和阶段性输出:在任务流程中,您可以使用聚合函数或将数据输出到中间表来进行阶段性统计。通过在任务流程中添加自定义统计逻辑,您可以实时获取数据行数或其他统计信息。
示例 SQL:
-- 统计总行数
SELECT COUNT(*) AS total_rows FROM your_table;
-- 统计成功记录数
SELECT COUNT(*) AS success_records FROM your_table WHERE status = 'SUCCESS';
-- 统计失败记录数
SELECT COUNT(*) AS failed_records FROM your_table WHERE status = 'FAILED';
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。