DLA一键建仓

简介: DLA很早之前就支持了对关系型数据库的查询,但是一直以来用户会有一个担心:直接分析RDS里面的数据会不会影响线上业务。这个担心很合理,除非你要查询的RDS是专门用来做后台数据分析使用的,否则直接大规模分析确实可能会造成数据库性能下降,影响前台业务。

one_click_dw_main_image

DLA很早之前就支持了对关系型数据库的查询,但是一直以来用户会有一个担心:

直接分析RDS里面的数据会不会影响线上业务。

这个担心很合理,除非你要查询的RDS是专门用来做后台数据分析使用的,否则直接大规模分析确实可能会造成数据库性能下降,影响前台业务。对于这个担忧我们做过一些改进的措施,比如提供hint让用户可以手动指定底层查询并发度, 但是不是最理想的方案。

因此我们现在推出了一个极致方案: 每天自动、无缝地帮您把RDS里面的数据同步到OSS上面,并建立好相应的表结构 -- 跟RDS里面一样的表结构,让你可以基于OSS的数据进行无忧无虑的分析,这个功能我们称之为一键建仓

一键建仓

首先打开DLA的Schema管理页面,这里显示了您所有的数据库。

1

点击“创建Schema”按钮进入建库向导选择页面,选择其中的“一键建仓”,点击“使用向导创建”

one_click_dw_entrance

因为一键建仓其实是在打通你的RDS数据和OSS数据,因此我们需要您的RDS和OSS授权:

one_click_dw_auth

授予好权限之后点击下一步进入一键建仓配置的主页面:

4

这个页面的左边列出了你所有的RDS,这是我们要建仓的数据来源,选择其中您要建仓的RDS,右边的服务器名,端口会自动填上,然后您需要填上用户名,密码,以及要同步的RDS的库名。

照道理说这个RDS的库名应该提供一个下拉框直接选就好了,不过目前由于一些限制暂时只能手动输入。

RDS信息填写完毕之后可以点击“测试连接”验证一下填写是否正确。

5

数据来源搞定之后,下一步我们要填写“建仓配置”,这一块是我们数仓相关的配置,在DLA的场景下主要是OSS相关的一些配置, 主要有三个:

  • Schema: 这份数据在DLA里面新建一个什么名字的Schema
  • 数据位置: 这份数据放在您的哪个bucket的哪个路径下
  • 同步时间: 每天几点帮您定时同步RDS的最新数据到OSS上面

这里同步时间要注意下,应该选择半夜业务低谷的时候进行同步,避免影响线上业务。另外选择数据位置的时候我们会对您赋予DLA的OSS操作权限进行校验,如果没有赋予足够的权限,我们会做提示:

6

一键建仓需要用户授予DLA对于所选择的路径有删除权限,因为我们每天会同步最新的数据到OSS上来,这里就涉及到要删除老数据的操作,关于如果赋予DLA OSS删除权限的详情可以参见这篇文章: 如何授权OSS删除权限给DLA

为什么前面已经进行了OSS授权,这里又来检查一遍OSS权限?

上一步授权的只是OSS只读权限,因为OSS删除权限兹事体大,因此没有在默认的权限里面,需要用户单独手动授权。

所有输入框有输入完毕之后点击“创建”就完成了创建操作,然后我们可以去Schema列表去查看我们通过一键建仓创建出来的这个新的Schema:

7

点击“详细信息”进入这个Schema的详情页面,可以看出跟普通的Schema不一样,这个Schema的详情里面多了一个“配置”的选项卡,这个选项卡里面有一键建仓的详细配置。

8

如果有修改一键建仓配置可以点击更新。比较有意思的是这个“立即同步”的按钮,一键建仓建立好了之后,我们只是建立了一个空的数据库,没有马上进行同步,而是要等用户设定的时间才运行,以免影响线上业务。如果用户判断对线上影响不大,想立马把数据同步过来以进行分析,那么可以点击“立即同步”的按钮。点击之后可以去“监控中心”的“任务列表”查看正在运行的一键建仓任务:

9

这里可以看到执行的任务的类型,名称,状态,点击详情可以看到JSON格式的更详细的状态信息:哪些表正在同步,哪些表已经同步完成:

10

等这个任务执行完成之后再回去看这个Schema就会发现已经有表了:

11

来,我们再验证一下数据是不是真的过来了:

one_click_dw_select_data

果然数据也有了,搞定!

总结

这里我们介绍了DLA最新引入的一键建仓的功能,一键建仓的作用就是为了让数据在RDS里面的客户可以方便、快速、没有后顾之忧地对业务数据进行分析,希望这个功能的引入能够让大家把RDS里面的数据更好的分析起来。

Happy DLAing.

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
分布式计算 安全 大数据
maxcomputer的介绍
maxcomputer的介绍
745 3
|
7月前
|
分布式计算 运维 数据挖掘
maxcomputer
maxcomputer
2009 2
|
4月前
|
存储 运维 搜索推荐
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
49 2
|
存储 分布式计算 监控
Hologres产品介绍与技术揭秘
近年来,随着数据实时化的诉求加剧,催生了一系列的实时数仓架构,Lambda架构也应运而生,但是随着场景的复杂度和业务多维需求,Lambda架构的痛点也越来越明显。HSAP的理念则是服务分析一体化,在本文中,来自阿里巴巴的资深技术专家将会深度剖析HSAP技术实现Hologres的设计原理,解读其产品典型场景。
12977 0
Hologres产品介绍与技术揭秘
|
6月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之湖仓加速版查询maxcompute外部表,有什么优化途径吗
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
6月前
|
存储 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之Hologres quickbi读holo是用的直读还是连接
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
4月前
|
存储 SQL 分布式计算
MaxCompute 在大规模数据仓库中的应用
【8月更文第31天】随着大数据时代的到来,企业面临着海量数据的存储、处理和分析挑战。传统的数据仓库解决方案在面对PB级甚至EB级的数据规模时,往往显得力不从心。阿里云的 MaxCompute(原名 ODPS)是一个专为大规模数据处理设计的服务平台,它提供了强大的数据存储和计算能力,非常适合构建和管理大型数据仓库。本文将探讨 MaxCompute 在大规模数据仓库中的应用,并展示其相对于传统数据仓库的优势。
135 0
|
6月前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之DataWorks中使用Lindorm冷数据同步至MaxCompute,该如何操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
分布式计算 运维 搜索推荐
基于阿里云Maxcompute搭建商业广告数据分析系统
互联网时代,信息流广告越来越多。而信息流广告的投放以大数据测算为依托,同样的数据,不同的解读方式,在进行投放指导时会产生不同的效果。
295 0
基于阿里云Maxcompute搭建商业广告数据分析系统
|
存储 分布式计算 MaxCompute
MaxCompute 海量数据点查介绍for混合云
客户需对近3-6个月归档数据进行快速全量查询的需求,涉及查询的423T数据量,达到引擎默认任务数上限,且资源消耗巨大,等于几乎无法查询, 且看maxcompute的海量数据查询方案如何应对这样的场景。
532 3
MaxCompute 海量数据点查介绍for混合云