暂无个人介绍
暂时未有相关通用技术能力~
阿里云技能认证
详细说明本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数据共享等。
在保存节点的时候,遇到了如下报错 “有下游节点依赖本节点的输出 xxx,禁止删除 “该如何处理?
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。
DataWorks是一个一站式智能大数据研发平台,在DataWorks上我们可以做一系列与大数据开发相关的工作。今天主要给大家讲解,在DataWorks上配置数据集成任务时,遇到的那些网络不通的问题该如何处理。
DataWorks V2的版本变动有点大,导致很多用户会问我一些基础的使用操作。本文就讲述一下,如何在DataWorks上使用PyUdf。
在DataWorks 2.0中,任务的依赖配置有所更改,所以特别写一篇文档来引导大家,如何正确的配置任务调度依赖。
本文主要讲述,如何在DataWorks上如何将shell任务运行在自定义资源组上。
DataWorks提供了系统调度参数,调度系统会根据调度参数的配置,结合当前的业务日期,将调度参数转换为具体的时间。
我们在搭建数仓的时候,有多个业务库需要将数据上云,如果手动来配置这些数据采集的任务,那将会是一个非常繁重的工作。DataWorks中的数据集成提供了整库迁移的功能,来方便大家快速进行数据上云,并可在配置任务的过程中,对目标表添加表前缀,助力于数仓的快速搭建。
在开发过程中经常会遇到多人协同开发,那在DataWorks中如何保证多人协同开发下的版本唯一呢。
在2018年7月12日,DataWorks将会发布一个新版本,DataWorks V2.0。DataWorks V2.0在V1.0的基础上,推出了很多强大的功能,以提升大数据研发、运维的效率。下面给大家讲解一下本次发布新增的功能点。
本手册为阿里云MVP Meetup Workshop《云计算·大数据:海量日志数据分析与应用》的《数据质量监控》篇而准备。主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据质量进行监控,学员可以根据本实验手册,去学习如何创建表的监控规则,如何去订阅表等。
本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13, 2018)进行了分析,文中内容仅代表个人观点。
很多同学经常会问我,我增加了一个自定义资源组,这个资源组能不能被其他项目共享呢?我用这台机器去别的项目注册的时候,报错了,我该怎么办呢。下面就给大家介绍一下自定义资源组的共享方法。
很多同学不明白,业务日期和定时时间的区别。我们做离线统计,最常见的是今天处理昨天的数据。这里今天就是运行日期(也叫定时时间),昨天就是业务日期。
一直想玩一下hadoop,看到hadoop早就支持了windows,就参考网上的文档自己搭了一套,还在学习中,如有错误,欢迎指正。
一直以来会遇到一些数据分析的问题,但是没有深究,现将遇到的问题都记录下来,以备不时之需。
DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。
DataWorks 中运行和测试运行的区别