AI 助理
备案控制台
开发者社区 云知 文章 正文

DataWorks数据质量版本更新

2018-06-04 1748
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
DataWorks Serverless资源组免费试用套餐，300CU*H 3个月
简介：
信息摘要： 数据质量新增2种实时数据源校验规则，离线校验新增9个规则模板
适用客户： 数据开发者
版本/规格功能： 数据质量新增实时数据源（datahub）校验；新增9个离线模板规则的校验；增加数据质量与调度系统关联方式，提升与调度关联的灵活性；数据质量离线数据源新增DataWorks项目自动同步；修复数据质量告警邮件及短信无法收到的bug。
产品文档： https://help.aliyun.com/document_detail/66868.html?spm=a2c4g.11174283.6.682.nhtUjv
文章标签：
大数据开发治理平台 DataWorks
Web App开发
数据采集
DataWorks
关键词：
大数据开发治理平台 DataWorks数据质量
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
正毅
目录
相关文章
云技术教程
|
数据采集 SQL 分布式计算
11.DataWorks 数据质量|学习笔记
快速学习11.DataWorks 数据质量
云技术教程
588 0
11.DataWorks 数据质量|学习笔记
番茄酱脑袋
|
1月前
|
数据采集 存储 DataWorks
DataWorks产品使用合集之如何查看数据质量中心（DQC）的规则执行记录
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
34 3
真的很搞笑
|
3月前
|
数据采集 DataWorks 关系型数据库
DataWorks产品使用合集之是否有数据质量检查功能
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
36 0
dataworks_demo21
|
数据采集 SQL 存储
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
数据质量问题虽然从数据工程师的角度来看是个简单问题，但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中，非常重要的一个环节。在DataWorks产品版图里，数据质量也是非常重要的模块之一。
dataworks_demo21
4323 0
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
番茄酱脑袋
|
1月前
|
数据采集 SQL DataWorks
DataWorks产品使用合集之如何配置数据质量监控
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
41 0
冲冲冲c
|
3月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之如何配置周期任务（如工作流任务或调度任务）依赖于数据质量规则校验结果
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
58 0
冲冲冲c
|
3月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据质量检测出现校验异常一般是什么造成的
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
22 0
嘟嘟嘟嘟嘟嘟
|
3月前
|
数据采集 DataWorks 数据挖掘
DataWorks操作报错合集之出现报错数据质量校验不通过，但任务没有设置DQC校验，是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
嘟嘟嘟嘟嘟嘟
112 0
真的很搞笑
|
3月前
|
数据采集 SQL DataWorks
DataWorks产品使用合集之如何使用UDF（用户自定义函数）来提升数据质量
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
29 0
芯在这
|
4月前
|
数据采集 SQL 存储
DataWorks产品使用合集之DataWorks配置数据质量监控如何解决
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
芯在这
83 4

云知

热门文章

最新文章

  • 1
    DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？
  • 2
    转载《Data Lake Analytics: 使用DataWorks来调度任务》
  • 3
    DataWorks独享资源组开通、使用教程
  • 4
    ODPS到ADS数据迁移指南
  • 5
    PyODPS 中使用 Python UDF
  • 6
    DataWorks中业务日期和定时时间的理解
  • 7
    数据治理中 PyODPS 的正确使用方式
  • 8
    DataWorks 2021-06 产品月刊
  • 9
    基于pyodps对MaxComputer表的数据探查
  • 10
    使用钉钉机器人监控DataWorks/消息队列Kakfa/实时计算Flink任务
  • 1
    DataWorks操作报错合集之DataWorks任务异常 报错： GET_GROUP_SLOT_EXCEPTION 该怎么处理
    74
  • 2
    DataWorks操作报错合集之DataWorksUDF 报错：evaluate for user defined function xxx cannot be loaded from any resources，该怎么处理
    82
  • 3
    DataWorks操作报错合集之在DataWorks中，任务流在调度时间到达时停止运行，是什么原因导致的
    88
  • 4
    DataWorks操作报错合集之DataWorks ODPS数据同步后，timesramp遇到时区问题，解决方法是什么
    65
  • 5
    DataWorks操作报错合集之DataWorks配置参数在开发环境进行调度，参数解析不出来，收到了 "Table does not exist" 的错误，该怎么处理
    66
  • 6
    DataWorks操作报错合集之DataWorks中udf开发完后，本地和在MaxCompute的工作区可以执行函数查询，但是在datawork里报错FAILED: ODPS-0130071:[2,5]，是什么原因
    72
  • 7
    DataWorks操作报错合集之DataWorks提交失败: 提交节点的源码内容到TSP(代码库)失败:"skynet_packageid is null，该怎么解决
    87
  • 8
    DataWorks操作报错合集之DataWorks在同步mysql时报错Code:[Framework-02]，mysql里面有个json类型字段，是什么原因导致的
    114
  • 9
    DataWorks操作报错合集之DataWorks集成实例绑定到同一个vpc下面，也添加了RDS的IP白名单报错：数据源配置有误，请检查，该怎么处理
    67
  • 10
    DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行，但是在 Hologres 表中没有看到数据，该怎么解决
    80

    • 相关课程

    更多
  • 一站式大数据开发治理平台DataWorks初级课程
  • DataWorks一站式大数据开发治理平台精品课程
  • 场景实践 - 使用MaxCompute进行数据质量核查
  • 阿里云 DTS是如何做实时数据集成的？
  • 基于阿里云MaxCompute搭建数据仓库（离线）

    • 相关电子书

    更多
  • DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季
  • DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季
  • 基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季

    • 相关实验场景

    更多
  • 在SAE控制台极速部署个人LLM效能工具
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于OpenTelemetry构建全链路追踪与监控
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
    • 下一篇
    基于LNMP搭建WordPress