MaxCompute 持续定义 SaaS 模式云数据仓库— 云数据仓库+ AI | 学习笔记

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 快速学习 MaxCompute 持续定义 SaaS 模式云数据仓库 — 云数据仓库+ AI

开发者学堂课程【 SaaS  模式云数据仓库系列课程 —— 2021数仓必修课MaxCompute  持续定义 SaaS  模式云数据仓库— 云数据仓库+ AI 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1030


MaxCompute  持续定义  SaaS  模式云数据仓库— 云数据仓库+AI


内容介绍:

一、人工智能的 3次黄金时期

二、数据仓库内置机器学习优势

三、MaxCompute  产品技术特性

四、SQL 查询语言的发展及现状

五、MaxCompute Mars



 一、人工智能的3次黄金时期

l 人工智能的3次黄金时期

 image.png

 

二、数据仓库内置机器学习优势

Ø 整体优势

1.无需移动数据(数据量大),降低基础设施成本、人工成本、减少数据安全风险(HIPPA法案)

2. 数据访问速度快(让算法找数据)

3.可扩展性强

4.纯  SQL ML/Python  更易用

Ø 各角色均受益

1.商务人士:新想法可以得到快速试验,ROI  提升

2. 数据科学家/数据分析师:大部分工作通过  SQL/Python  实现,易用提效;模型开发/生产环境无缝对接。

3.DBA  :数据管理简单、安全性更高

 

三、MaxCompute   产品技术特性

Ø 集成  AI  能力

·提供  SQLML  可以直接使用标准  SQL  训练机器学习模型,并对数据进行预测分析

·Mars:使用Python科学计算、机器学习三方库

·可使用用户熟悉的  Spark-ML  开展智能分析

·与PAI无缝集成,提供强大的机器学习处理能力


四、SQL  查询语言的发展及现状

Ø SQL  发展

定义:结构化查询语言,用于和  RDBMS  交互。

Ø 发展历程

1970年代初,IBM  提出规范语言  SEQUE L, 后改名  SQL

1979年   ORACLE 提出商用  SQL

1986年,关系数据库管理系统被ISO采纳为国际标准

2011年: ISO/IEC 9075:2011  SQL:2011

image.png


五、MaxCompute Mars

Ø 项目名字  Mars:  最早是 Matrix and Array;  登陆火星

Ø 为什么要做  Mars:

1) 为大规模科学计算设计的:大数据引擎编程接口对科学计算不太友好,框架设计不是为科学计算模型考虑的

2) -传统科学计算基于单机,大规模科学计算需要用到超算

3) Tips科学计算:计算机梳理数据:Excel->数据库(MySQL)->Hadoop,Spark,MaxCompute数据量有了很大变化,计算模型没有变化,二维表,投影、切片、聚合、筛选和排序,基于关系代数,集合论;科学计算基础结构不是二维表:例如图片2维度,每个像素点不是一个数字(RGB+a透明通道)

4) 传统  SQL  模型处理能力不足:线性代数,专制行列式的相乘,现有数据库效率低

-现状  R,Numpy  单机基于单机; Python  生态的Dask大数据到科学计算的桥梁

Ø 案例:客户  A MaxCompute  现有数据,需要针对这些百亿数据TB级别的数据相乘;现 有  MapReduce 性能;用  Mars  就可以高效的解决;目前是唯一一个大规模科学计算引擎

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
84 0
|
8月前
|
大数据 Linux 网络安全
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
207 0
|
8月前
|
机器学习/深度学习 数据可视化 数据挖掘
探索大数据时代的关键技术:数据挖掘、可视化和数据仓库
探索大数据时代的关键技术:数据挖掘、可视化和数据仓库
594 0
|
8月前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
112 1
|
7月前
|
存储 分布式计算 大数据
数据仓库与数据湖在大数据架构中的角色与应用
在大数据时代,数据仓库和数据湖分别以结构化数据管理和原始数据存储见长,共同助力企业数据分析。数据仓库通过ETL处理支持OLAP查询,适用于历史分析、BI报表和预测分析;而数据湖则存储多样化的原始数据,便于数据探索和实验。随着技术发展,湖仓一体成为趋势,融合两者的优点,如Delta Lake和Hudi,实现数据全生命周期管理。企业应根据自身需求选择合适的数据架构,以释放数据潜力。【6月更文挑战第12天】
276 5
|
5月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
5月前
|
消息中间件 存储 大数据
大数据-数据仓库-实时数仓架构分析
大数据-数据仓库-实时数仓架构分析
189 1
|
5月前
|
存储 SQL 分布式计算
MaxCompute 在大规模数据仓库中的应用
【8月更文第31天】随着大数据时代的到来,企业面临着海量数据的存储、处理和分析挑战。传统的数据仓库解决方案在面对PB级甚至EB级的数据规模时,往往显得力不从心。阿里云的 MaxCompute(原名 ODPS)是一个专为大规模数据处理设计的服务平台,它提供了强大的数据存储和计算能力,非常适合构建和管理大型数据仓库。本文将探讨 MaxCompute 在大规模数据仓库中的应用,并展示其相对于传统数据仓库的优势。
164 0
|
8月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
655 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
|
8月前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
1041 1

热门文章

最新文章