开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据标准数据标准使用?

DataWorks数据标准数据标准使用?

展开
收起
真的很搞笑 2023-10-16 22:08:48 115 0
7 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    DataWorks数据标准主要支持在建模前规划制定数据标准,或在建模使用过程中根据业务情况沉淀企业业务的数据标准。这包括规范约束标准代码、度量单位、字段标准和命名词典,以保障后续建模与应用过程中数据处理的一致性。

    此外,DataWorks还提供了一系列功能来帮助用户更好地管理和使用数据。例如,数据分析子模块可以帮助用户在线洞察分析、编辑和分享数据,具备SQL查询、电子表格等功能;数据开发(DataStudio)模块则用于定义周期调度任务的开发及调度属性,配合运维中心使用,面向各引擎(如MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力。

    2023-10-17 15:56:02
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,数据标准是一个用于描述和规范数据的数据模型,它定义了数据的结构、格式和规则等信息。DataWorks数据标准可以用于帮助用户更好地理解和使用数据,提高数据的质量和可用性。
    在DataWorks中,您可以使用数据标准来定义和管理数据。您可以在DataWorks中创建数据标准,定义数据的结构、格式和规则等信息。然后,您可以将数据标准应用于数据表中,以确保数据的一致性和完整性。
    同时,您也可以使用DataWorks数据标准来创建数据表和数据开发任务。您可以在创建数据表时,引用DataWorks数据标准,以确保数据的一致性和完整性。同时,您也可以在创建数据开发任务时,引用DataWorks数据标准,以确保数据的一致性和完整性。

    2023-10-17 13:57:33
    赞同 展开评论 打赏
  • DataWorks数据标准使用步骤如下1:

    1.创建数据标准。在DataWorks中创建字段标准、标准代码、度量单位、命名词典等数据标准,并根据业务需求设置相应的属性要求和标准代码。
    2.关联数据标准。在DataWorks中建立数据标准与数据表或数据流程的关联关系,以确保数据在处理过程中遵循数据标准的规定。
    3.数据处理。在DataWorks中通过数据开发、数据处理等功能,根据数据标准的要求对数据进行处理和转换。
    4.数据质量监控。通过DataWorks中的数据质量监控功能,对数据处理过程和结果进行实时监控,及时发现和处理数据质量问题。
    5.数据发布。将处理后的数据发布到目标表中,并确保数据的准确性和完整性。
    数据查询。使用DataWorks中的查询功能,快速查询和处理数据,以满足业务需求。

    2023-10-17 13:39:51
    赞同 展开评论 打赏
  • DataWorks中的数据标准是指一组预定义的数据格式和规范,用于确保数据的一致性和准确性。以下是DataWorks中数据标准的常用方法:
    1、使用DataWorks中的“数据标准”功能:DataWorks支持定义和管理数据标准,您可以使用这些功能来创建和管理数据标准。
    2、使用DataWorks中的“数据质量”功能:DataWorks支持检查和纠正数据质量问题,您可以使用这些功能来发现和纠正数据中的不一致或不准确部分。
    3、使用DataWorks中的“数据清洗”功能:DataWorks支持清洗和去重数据,您可以使用这些功能来发现和删除重复或无效数据。

    2023-10-17 10:42:28
    赞同 展开评论 打赏
  • 数据标准概述https://help.aliyun.com/zh/dataworks/user-guide/overview-21?spm=a2c4g.11186623.0.i74

    DataWorks数据建模支持在建模前规划制定数据标准,或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典,来保障后续建模与应用过程中数据处理的一致性,从源头上保障数据的标准化生产,节约后续数据应用和处理的成本。

    应用场景
    DataWorks的数据标准包含字段标准、标准代码、度量单位、命名词典。
    fd8402f5bd011affb13f584188a7f4b7_p297891.png

    例如,现有注册表和登录表两张表,注册表中存储了会员ID,字段名为user_id,登录表中也存储了会员ID,字段名为userid,此时针对会员ID这个数据创建统一的数据标准,例如指定数据处理的标准代码、指定字段的属性要求(例如字段的数据类型、长度、默认值等)、指定数据的度量单位。创建好数据标准后,后续在建模过程中涉及到会员ID这个字段的设置时,即可直接关联此标准,以此来保障所有会员ID字段的标准统一。

    2023-10-17 08:38:47
    赞同 展开评论 打赏
  • 数据标准创建完成后,需要将数据标准导入DataWorks,再使用建模工具DDM客户端同步导入DataWorks中的数据标准,以供后续数据建模使用,具体请参见入门实践。说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。
    https://help.aliyun.com/document_detail/187026.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 08:12:19
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    DataWorks 数据标准是阿里云数据开发平台 DataWorks 中的一个重要功能模块,用于管理和规范数据资源的定义、分类、使用、交互和分析。它可以帮助企业实现数据资源的集中管理和共享,提高数据的可信度、准确度和可用性,同时也方便用户在数据资产中查找自己需要的数据。

    2023-10-17 08:09:45
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多