解密 阿里巴巴大数据女程序员瑞清代码诗!
2018年已过,我们迎来了新的一年,在机遇与挑战同在的环境下,我们更应勤于学习。为了方便大家学习,小编为大家盘点了2018年阿里巴巴大数据—玩家社区云栖号最火的干货文章分享给大家,让我们在新的一年里共同学习和成长!
阿里巴巴大数据 —玩家社区
云栖号简介:
阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……
2018年10篇最受欢迎博文:
第一篇:
《MaxCompute/DataWorks权限问题排查建议》
MaxCompute与DataWorks为两个产品,在权限体系上既有交集又要一定的差别。
突破自我—一文看尽DataWorks全新升级以及在城市大脑的广泛应用
在2018年云栖大会·深圳峰会的专有云专场中,来自阿里云的大数据专家张辉(士诚)为现场的听众带来了题为《DataWorks全新升级以及在城市大脑的广泛应用》的技术分享。在本次分享中,士诚重点阐述DataWorks概述、DataWorks核心能力升级和DataWorks在城市大脑中的应用三个方面。
解析DataWorks数据集成中测试连通性失败问题
大家好,这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多,本文按照多个因素逐步排查,最终解决问题,希望大家以后再遇到此类问题,请参考此文,相信能够顺利解决您的问题。
如何使用DataWorks的整库迁移给目标表名加上前缀
我们在搭建数仓的时候,有多个业务库需要将数据上云,如果手动来配置这些数据采集的任务,那将会是一个非常繁重的工作。DataWorks中的数据集成提供了整库迁移的功能,来方便大家快速进行数据上云,并可在配置任务的过程中,对目标表添加表前缀,助力于数仓的快速搭建。
大数据搬站step by step
IDC,ECS自建和云数据库之间的数据搬站
1 IDC -> MaxCompute / EMR
**【方案】:使用“独享数据集成资源组”,绑定可以连通用户IDC的用户VPC,然后提工单,由阿里云数据集成开发人员在独享数据集成资源组上配置路由,使独享数据集成资源组可以访问IDC内数据源。
阿里云物联网平台数据转发到DataHub示例
您可以使用规则引擎将数据转到DataHub上,再由DataHub将数据流转至实时计算、MaxCompute等服务中,以实现更多计算场景。本文主要演示通过规则引擎将消息流转到DataHub,并通过Dataconnector 将消费流转到MaxCompute的表。