EMR Serverless StarRocks + DataWorks 开启极速分析新体验

简介: EMR Serverless StarRocks + DataWorks ,开启极速分析体验

StarRocks 作为新一代全场景MPP(Massively Parallel Processing)数据仓库,凭借其极速的查询性能,多表 Join 的查询能力,MySql 协议的兼容性等特点,获得了广泛的客户关注,并应用在商业分析、广告转化、业务监控、用户触达等场景。越来越多的客户使用 StarRocks 来统一其 OLAP 引擎,降低运维成本。


EMR Serverless StarRocks 是 StarRocks 在阿里云上的一个全托管服务,结合 StarRocks 自身极速和统一的特性,重点围绕降低门槛和降低运维复杂度这两个目标,为客户提供了更多的能力。EMR Serverless StarRocks 提供了全托管、免运维的服务,无需担心 StarRocks 集群的稳定性,比如日常使用中宕机等问题。在数据管理方面,提供了易用的慢 SQL 分析和集群健康诊断,便捷的导入任务管理,以及可视化的元数据管理。

image.png

同时,结合阿里云上的一些产品,集成了云原生的能力。首先是集成了底层资源,结合K8S,实现了即开即用,仅需三四分钟,即可完成一个集群的快速创建。并且提供了后续高效扩缩容、升降配的能力,实现了资源的快速交付。


DataWorks 作为阿里云大数据开发治理平台,结合 StarRocks 引擎在数据分析和数据服务上的极速表现,全面助力 StarRocks 在各类业务场景上的使用。


数据集成

离线同步支持40+类数据源同步到 StarRocks 表中,如 MySql, Hive, Kafka, OSS,HDFS 等,方便用户快速开启 StarRocks 的分析体验。DataWorks 同步任务的调度周期可灵活配置:分钟,小时,日,周,月,年等选择满足各类分析场景。

1692676596884-c9d0cf5a-26c4-4391-9e85-c43436a97ebb.png

1692677320441-531b1186-a963-410a-a572-c8ef9a773982.png


数据分析

采用连接串模式创建 MySql 数据源, 建议填写内网 JDBC URL 地址,确认 StarRocks 侧白名单有效开放给 DataWorks 的独享资源组,保证连通性。

1692693846024-45cd49cf-2e19-4035-ad71-c908e3c41dbf.png


打开数据分析,选择已经创建的数据源,即可开始体验 StarRocks 极速分析。

1692693387658-77cf0dd4-b3b9-4373-8445-f26e2602c77f.png


调度运维

对于需要周期调度的 StarRocks 任务,在 DataStudio 模块中创建 MySql 类型节点,选择已经创建的连接到 StarRocks 的数据源,即可编写 SQL 任务,并设置调度周期来周期执行。

1692691421302-5f836e64-59ba-4e29-bc84-daf7ba79bf03.png

1692692987403-452380cf-7487-4f51-a893-836163556488.png


数据服务

选择已经配置的数据源 starrocksdb, 快速创建 web api 对外提供服务。数据服务支持向导模式和脚本模式两种编辑场景,脚本模式支持根据查询 SQL 语句自动生成 API 的请求参数和返回参数。

1692700283607-1e94002c-1024-4d77-b5c1-884a39a12bb2.png

1692700561503-c91132b4-967a-4372-b594-fbde58ce2846.png

1692700631270-f974e1cb-4812-4603-95eb-c252ba3ec1cb.png


欢迎免费测试:

EMR Serverless StarRocks

DataWorks独享数据集成资源组



欢迎钉钉扫码入群交流

image.png

目录
相关文章
|
DataWorks 数据挖掘 Serverless
阿里云EMR Serverless StarRocks 内容合集
阿里云 EMR StarRocks 提供存算分离架构,支持实时湖仓分析,适用于多种 OLAP 场景。结合 Paimon 与 Flink,助力企业高效处理海量数据,广泛应用于游戏、教育、生活服务等领域,显著提升数据分析效率与业务响应速度。
300 0
|
8月前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
745 69
|
12月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
10月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
260 0
|
11月前
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
11月前
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
265 1
|
12月前
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
11月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
486 1
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
403 16
|
机器学习/深度学习 数据采集 DataWorks
DataWorks产品评测:数据处理与分析的最佳实践
DataWorks是阿里巴巴推出的大数据开发治理平台,支持从数据采集、预处理、存储到分析的全流程操作。本文评测了其在用户画像分析中的应用,包括数据收集、清洗、特征工程、模型训练、结果评估及应用部署等步骤,展示了其在提高数据资产管理效率、支持多种编程语言和技术栈、集成丰富可视化工具等方面的优势。同时,文章也指出了DataWorks在使用过程中的一些不便与问题,并提出了改进建议。
383 17