云上数据仓库的架构方案|学习笔记(三)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 快速学习云上数据仓库的架构方案

开发者学堂课程【数据仓库 ACP 认证课程云上数据仓库的架构方案】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14629


云上数据仓库的架构方案


基于 PostGIS,支持地理信息数据存储分析

使用 GanosBase 对时空数据进行管理和分析

基于 MPP 架构,支持海量地理信息数据存储

GanosBase并不是一款独立的产品,而是以“时空引擎”的形式

融合在RDS PG/MyBase PG/PolarDB/AnalvticDB

PG/Lindorm/DLA等不同的数据库产品中

image.png

3.方案优势:

严格遵循OpenGIS标准规范,高度兼容PostGIS语法

强大、灵活、易用的专业化栅格影像数据管理

时空图形图像免切片索引与快速显示

多维多模态移动对象数据库支持

 image.png


六、回顾与总结

我们刚刚讲述的是云上数据仓库的架构方案,主要有下面几点内容:

image.png第一个是AnalyticDB助力客户行为日志实时分析,第二个是AnalyticDB快速实现BI报表分析加速,第三个是AnalyticDB高效分析实时人群画像,包括人群画像里面的经典算法。第四个是基于AnalyticDB构建实时数据仓库,实时仓库依赖于lis数据,数据另一侧的工具帮助AnalyticDB把云端的多元的数据,关系数据库和日志流的数据,实时到AnalyticDB里面。最后一个是在GIS地理数据分析的最佳实践。

 

七、试题解析

1. (多选题)阿里云数据仓库产品实现了对海量数据的即席查询分析、ETL处理及可视化探索,是在各行业有竞争力的云上数据仓库解决方案,主要产品包括( )。

(1)AnalyticDB MySQL版

(2) MariaDB版

(3)AnalyticDB PostgreSQL版

(4)PolarDB MySQL版

答案:1 ) AnalyticDB MySQL版、3) AnalyticDB PostgreSQL版

2. (多选题)从存储数据的方式上, OLAP包括三种常见类型( )。

(1)MOLAP

(2)ROLAP

(3)HOLAP

(4)MROLAP

(5)MHOLAP

MOLAP,Multidimensional OLAP ,最快的响应速度

ROLAP,Relational OLAP ,最大灵活度

HOLAP,Hybrid OLAP,混合了M和R型

答案:1 ) MOLAP、2 ) ROLAP、3 ) HOLAP

3. (单选题) OLAP可以根据业务要求快速、灵活地进行大数据量的复杂查询处理,其核心场景是( )。

(1)多维分析

(2)交互操作

(3)事务处理

(4)实时响应

OLAP的核心在于多维上,交互操作、实时响应是OLAP的一个特点

OLAP的核心概念是“维”( dimension),多维性是OLAP的关键属性。系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。事实上,多维分析是分析企业数据最有效的方法,是OLAP的灵魂。

答案:(1)多维分析

4. (单选题)在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、( )、 大屏监控能力,提供稳定的离线和在线数据服务。

(1)日志解析

(2)实时报表

(3)账户分析

(4)资产守护

考查的是AnalyticDB MySQL版这款应用的核心应用场景。

在AnalyticDB MySQL版中,为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。

答案:(2)实时报表

5. (多选题)在AnalyticDB MySQL版中,适合Interactive (交互式)模式.场景包括( )。

(1)适合ETL场景,作业执行时间长,对RT (响应时间)要求低。

(2)适合交互式查询,对RT (响应时间)有较高要求。

(3)查询Query SQL不是特别复杂,资源充足。

(4)计算数据量大,计算逻辑复杂,但资源较为有限。

交互式模式适合的是交互式查询,对于RT的要求比较高,要求快速响应,交互式查询查询Query SQL一般不会特别复杂。

答案:(2)适合交互式查询,对RT (响应时间)有较高要求。

查询Query SQL不是特别复杂,资源充足。

6. (单选题)在AnalyticDB MySQL版中,提供分时弹性功能。这个功能不适合解决下面的问题是( )。

(1)节省存储空间

(2)白天业务高峰资源保障

(3)晚上ETL高峰的稳定性

(4)降低整体计算资源成本

这道题考查的是对产品形态与客户业务的match程度

•支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

•白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

•晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

答案:(1)节省存储空间

7. (单选题)在AnalyticDB PostgreSQL版中,基于开源项目( )构建 , 兼容ANSI SQL 2003,兼容PostgreSQL/Oracle数据库生态,支持行存储和列存储模式。

(1)Redshift

(2)HBase

(3)Greenplum

(4)BigQuery

AnalyticDB PostgreSQL版基于开源项目Greenplum构建,由阿里云深度扩展

答案:(3)Greenplum

8. (单选题)下面不是AnalyticDB MySQL的主打场景的是( )。

(1)圈人分析、毫秒级响应

(2)分钟级营销效果反馈

(3)基于日志的实时行为分析

(4)满足数据库ACID要求的高并发在线交易

满足数据库ACID要求的高并发在线交易是OLAP关系型数据库场景

AnalyticDB MySQL无法满足ACID场景

答案:(4)满足数据库ACID要求的高并发在线交易

9. (单选题)除内部存储外, AnalyticDB PostgreSQL版支持通过外表方式访问OSS和Hadoop的存储数据。当AnalyticDB PostgreSQL通过外表方式对OSS存储服务进行访问时, ( )。

(1)支持对OSS的数据进行分析操作,但不支持将数据导出到OSS

(2)不支持对OSS的数据进行分析操作,但支持将数据导出到OSS

(3)不支持对OSS的数据进行分析操作,也不支持将数据导出到OSS

(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

答案:(4)支持对OSS的数据进行分析操作,同时也支持将数据导出到OSS

10. (单选题)为了更高效的支持实时人群画像,在表设计时建议采取下面( )为最佳实践。

(1)雪花模型,通过多表复杂JOIN分析

(2)星型模型,通过多表复杂JOIN分析

(3)大宽表模型,单表多维分析

(4)无需进行表模型设计

答案:(3)大宽表模型,单表多维分析

选择大宽表模型才能更好保证单表的性能,在一般情况下,大宽表模型是比较理想化的。

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
10月前
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
1212 81
|
11月前
|
人工智能 前端开发 Java
DDD四层架构和MVC三层架构的个人理解和学习笔记
领域驱动设计(DDD)是一种以业务为核心的设计方法,与传统MVC架构不同,DDD将业务逻辑拆分为应用层和领域层,更关注业务领域而非数据库设计。其四层架构包括:Interface(接口层)、Application(应用层)、Domain(领域层)和Infrastructure(基础层)。各层职责分明,避免跨层调用,确保业务逻辑清晰。代码实现中,通过DTO、Entity、DO等对象的转换,结合ProtoBuf协议,完成请求与响应的处理流程。为提高复用性,实际项目中可增加Common层存放公共依赖。DDD强调从业务出发设计软件,适应复杂业务场景,是微服务架构的重要设计思想。
|
负载均衡 Serverless 持续交付
云端问道9期实践教学-省心省钱的云上Serverless高可用架构
详细介绍了云上Serverless高可用架构的一键部署流程
262 10
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
运维 监控 安全
天财商龙:云上卓越架构治理实践
天财商龙成立于1998年,专注于为餐饮企业提供信息化解决方案,涵盖点餐、收银、供应链和会员系统等。自2013年起逐步实现业务上云,与阿里云合作至今已十年。通过采用阿里云的WA体系,公司在账号管理、安全保障、监控体系和成本管控等方面进行了全面优化,提升了业务稳定性与安全性,并实现了显著的成本节约。未来,公司将持续探索智能化和全球化发展,进一步提升餐饮行业的数字化水平。
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
888 6
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
监控 Serverless 测试技术
云端问道9期方案教学-省心省钱的云上Serverless高可用架构
本文介绍了省心省钱的云上Serverless高可用架构,主要分为两个部分:1. Serverless的发展历程、特点及高可用架构;2. SAE(Serverless Application Engine)产品介绍。Serverless作为一种云计算模式,让用户无需管理底层基础设施,自动弹性扩展资源,按需付费,极大提高了资源利用率和业务灵活性。SAE作为Serverless计算服务,提供了简便的应用部署、运维自动化、丰富的弹性策略和可观测性等功能,帮助企业降低运营成本、提升研发效率。通过极氪汽车、南瓜电影等客户案例展示了SAE在实际应用中的优势。
209 0
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。