MaxCompute 表(Table)设计规范
表的限制项
表(Table)设计规范 表设计主要目标
表设计的影响
表设计步骤
表数据存储规范
按数据分层规范数据生命周期
按数据的变更和历史规范数据的保存
数据导入通道与表设计
分区设计与逻辑存储的对应
表和分区设计基本规则
分区设计
分区字段和普通字段的选择
分区字段定义依据
分区个数定义依据
分区数量和数据量建议
表的限制项
表(Table)设计规范 表设计主要目标
降低存储成本。
HBase数据导入工具总结
本文对HBase常用的数据导入工具进行介绍,并结合云HBase常见的导入场景,给出建议的迁移工具和参考资料。
HBase之间数据导入常用工具
HBase提供了几种数据迁移工具,其中基于API调用的有CopyTable,Export&Import。
DataWorks:下一代智能数据工场
2017云栖大会dataworks专场,数加平台&DataWorks研发负责人王贲带来dataworks的演讲。主要讲了dataworks缘起何处,进而讲解了数据集成和数据研发,着重介绍了数据治理,最后作了简要总结。
ETL测试工具简介
ETL测试
ETL测试过程与其他测试过程类似,包括一些阶段。
确定业务需求
测试计划
设计测试用例和测试数据
测试执行和错误报告参考
总结报告
测试结束
ETL测试的类型
生产验证测试: 也称为表平衡或产品对帐。
数加DataWorks/MaxCompute在国网浙江电力的最佳实践
摘要:2017云栖大会dataworks专场,国网浙江电力大数据平台架构师陈振带来Dataworks/MaxCompute在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起,引出企业级数仓架构设计,着重通过数据集成和企业级管理为大家分享了具体的应用情况,最后作了简要的展望。
阿里云ACP认证考试细则须知与考题内容学习方法分享
阿里云大数据专业认证(ACP 级-Alibaba Cloud CertificationProfessional)是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证,主要涉及阿里云大数据类的几款核心产品,包括大数据计算服务MaxCompute、数据工场 DataWorks(原大数据开发套件 DataIDE)、数据集成、QuickBI、机器学习 PAI 等。