开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课：Max Computer 持续定义 SaaS 模式云数据仓库—云数据仓库+实时搜索】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/55/detail/1032
Max Computer 持续定义 SaaS 模式云数据仓库—云数据仓库+实时搜索
目录：
一、Why :概述与价值
二、Wha t:应用场景
三、how :最佳实践
一、Why: 概述与价值
1.云数据仓库 MaxCompute
MaxCompute:saas 模式企业级云数据仓库
云数据仓库支持多场景数仓应用
应用场景
1.广告场景用户标签计算、分析
2.业务运营场景交互式业务指标计算、查询
3.各行业搭建数据仓库流批一体、湖仓一体
4.云上弹性扩展大数据计算和存储
产品优势
1.云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求。
2.简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用。
3.企业级平台服务:支持开放生态,提供企业级安全管理能力。与阿里云众多大数据服务无缝集成
4.安全:多租户环境下安全控制能力强
5.大规模集群性能强、全链路稳定性高,阿里巴巴双11场景验证
推荐组合
1.实时分析场景
-MaxCompute+mc-Hologres-+Flink+DataWorks+Quick
2.机器学习场景
-MaxComputepal+DataWorks
Max Compute产品技术特性
全托管的 Serverless 的在线服务
1.对外以 AP 方式访问的在线服务,开箱即用
2.预铺设的大规模集群资源,近乎无限资源,按需使用和付费
3.无需平台运维,最小化运维投入
弹性能力与扩展性
1.存储和计算独立扩展,支持 TB->EB 数据规模的扩展能力,可以让企业将全部数据资产保存在一个平台上进行联动分析,消除数据孤岛
2.Servlerss 资源,实时根据业务峰谷变化带来的需求变化分配资源,自动扩展
3.单作业可根据需要秒级获得成千上万 Core
数据湖探索分析
1.默认集成对数据湖(如OS服务)的访问分析,处理非结构化或开放格式数据
2.支持外表映射、 Spark 直接访问方式开展数据湖分析
3.对用户友好:在同一套数据仓库服务下和用户接口下,实现数据湖分析和数据仓库的关联分析
集成 AI 能力
1.与 PA I 无缝集成,提供强大的机器学习处理能力
2.可使用用户熟悉的 Spark--ML 开展智能分析
3.提供 SQLML 可以直接使用标准 SQL 训练机器学习模型,并对数据进行预测分析
4.Mars: 使用 Python 机器学习三方库
支持流式采集和近实时分析
1.支持流式数据的实时写入(Tunnel)并在数据仓库中开展分析
2.与云上主要流式服务深度集成,轻松接入各种来源流式数据
3.高性能秒级弹性并发查询,满足近实时分析
深度集成 Spark 引擎
1.内建 Apache Spark 引擎,提供完整的 Spark 功能
2.与 MaxCompute计算资源、数据和权限体系深度集成
统一而丰富的运算能力
1.离线计算 (MR,DAG,SQL,ML, Graph)
2.实时计算(流式,内存计算,代计算)
3.涵盖,通用关系型大数据,机器学习,非结构化数据处理,图计算
提供统一的企业数据视图
1.提供租户级别的统一元数据,让企业能够轻松获得完整的企业数据目录
2.对于更广泛的数据源,通过外表建立数据仓库与外部数据源的连接, Connect not Collect
企业级服务
1.SLA保证:99.9% 服务可用性保障
2.自助运维与自动化运维
3.完善的故障容错(软件,硬件,网络,人为)
二、What :应用场景
常用场景:实时、离线、分析、服务一体化方案
方案说明：适用于数据化运营,如智能推荐、日志采集分析、用户画像、数据治理、业务大屏、搜索等场景。
方案优势：阿里巴巴最佳实践的大数据平台
1)技术领先性;
2)本提效;
3)高附加值业务收益;
涉及产品:
日志服务5、数据传输 DT、 DataHub、实时计算 Fink、交互式分析、云数仓 MaxComput 数据治理 DataWorks、 Quick Bl 报表、 Datav 大屏、ES 搜索，机器学习 PAI
2.实时搜索服务 Elasticsearch
阿里云 Elasticsearch 介绍
Elastic 宣布与阿里云建立长期合作和战略伙伴关系
兼容开源 Elasticsearch 的功能,以及 Security、Machine Learning、 Graph、APM 等商业功能,致力于数据分析、数据搜索等场景服务。
与开源社区背后商业公司 Elastic 战略合作,为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务
为什么需要 MaxCompute+ 实时搜索
1.MaxCompute 能解决日增量数据超大场景,提供强大算力
MaxCompute EB 级别 SaaS 云数仓，支持流式采集
2.需要更多的计算模型做处理
MaxCompute(SQLSparkPython/ava/ml) ->高维度聚合查询、like 分词(Lucene Query)
3.辅助 ElasticSearch 做数据存储
MaxCompute+ OSS/ OTS
客户场景 :Log/ Indicator Analysis
分析场景
通过分析访问日志和行为日志,您可以快速获得相关的指标并将它们交付给业务用户
系统日志分析
系统维护日志的错误分析帮助管理员快速定位错误
行为日志分析
用户行为日志可以通过分析用户访问和其他数据来帮助业务开发
Operation Performance Analysis
通过收集和分析页面和性能数据,帮助实时调整操作策略
推荐服务: MaxCompute ElasticSearch
客户场景 -WebHosting
场景
对站点上的数据进行快速索引,帮助对现有数据进行快速索引和精确搜索
全文检索
在站点内搜索产品、文档和社交网络信息
企业级搜索
对企业的内部数据执行快速搜索
推荐服务
ECS
MaxCompute ElasticSearch
Elastic Search
三、how:最佳实践
1.数据集成
直播场景下,日志及监控平台架构最佳实践
在线教育业务痛点
1.监数据实时性要求高
■监控指标、数据来源多,实时性保障困难
2.流量波动大,自建集群投入成本高
■教育行业寒暑假业务流量激增,学期内流量平稳,机器资源闲置浪费
■突发事件( Covid--19疫情)峰值流量大
3.数据权限粒度要求高
■为保障终端用户的使用体验,平台方需要赋能客户数据监控和分析能力,需要提供读数据权限
■无法满足每个客户一个集群的需求,需要对一个大池子中的数据进行细粒度的数据权限分割
1准备工作:
创建 Dataworks 工作空间并开通 MaxCompute 服务、准备 MaxCompute 数据源，创建里云 Elasticsearch 实例
2.步骤一:购买并创建独享资源组
购买并创建一个数据集成独享资源组,并为该资源组定专有网络和工作空间。独享资组可以保障数据快速,稳定地传输
3.步骤二:添加数据源
将 MaxCompute 和 Elasticsearch 数源 Dataworks
的数据集成服务中
4.步骤三:配置并运行数据同步任务
配置一个数据同步的脚本,将数据集成系统同步成功的数据存储到 Easticsearch 中,将独事资源烟作为一个可以执行任务的资源,注册到 Dataworks 的数据集成服务中,这个资源将获取数据源的数据,并执行将数据写入 ELasticsearch 中的任务(该任务将由数据集成系统统一下发)
5.步骤四:验证数据同步结果
在 Kibana 控制台中,查看同步成功的数据,并按条件查询数
2.数据监控
Steps:
1.使用 Kibana 的 discover,view, dashboard 和其它对象来查看这些数据。
2通过导入预先准备好的 Kibana 对象,可以统一显示直播数据。
