EMR Serverless StarRocks + DataWorks 开启极速分析新体验

本文涉及的产品
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: EMR Serverless StarRocks + DataWorks ,开启极速分析体验

StarRocks 作为新一代全场景MPP(Massively Parallel Processing)数据仓库,凭借其极速的查询性能,多表 Join 的查询能力,MySql 协议的兼容性等特点,获得了广泛的客户关注,并应用在商业分析、广告转化、业务监控、用户触达等场景。越来越多的客户使用 StarRocks 来统一其 OLAP 引擎,降低运维成本。


EMR Serverless StarRocks 是 StarRocks 在阿里云上的一个全托管服务,结合 StarRocks 自身极速和统一的特性,重点围绕降低门槛和降低运维复杂度这两个目标,为客户提供了更多的能力。EMR Serverless StarRocks 提供了全托管、免运维的服务,无需担心 StarRocks 集群的稳定性,比如日常使用中宕机等问题。在数据管理方面,提供了易用的慢 SQL 分析和集群健康诊断,便捷的导入任务管理,以及可视化的元数据管理。

image.png

同时,结合阿里云上的一些产品,集成了云原生的能力。首先是集成了底层资源,结合K8S,实现了即开即用,仅需三四分钟,即可完成一个集群的快速创建。并且提供了后续高效扩缩容、升降配的能力,实现了资源的快速交付。


DataWorks 作为阿里云大数据开发治理平台,结合 StarRocks 引擎在数据分析和数据服务上的极速表现,全面助力 StarRocks 在各类业务场景上的使用。


数据集成

离线同步支持40+类数据源同步到 StarRocks 表中,如 MySql, Hive, Kafka, OSS,HDFS 等,方便用户快速开启 StarRocks 的分析体验。DataWorks 同步任务的调度周期可灵活配置:分钟,小时,日,周,月,年等选择满足各类分析场景。

1692676596884-c9d0cf5a-26c4-4391-9e85-c43436a97ebb.png

1692677320441-531b1186-a963-410a-a572-c8ef9a773982.png


数据分析

采用连接串模式创建 MySql 数据源, 建议填写内网 JDBC URL 地址,确认 StarRocks 侧白名单有效开放给 DataWorks 的独享资源组,保证连通性。

1692693846024-45cd49cf-2e19-4035-ad71-c908e3c41dbf.png


打开数据分析,选择已经创建的数据源,即可开始体验 StarRocks 极速分析。

1692693387658-77cf0dd4-b3b9-4373-8445-f26e2602c77f.png


调度运维

对于需要周期调度的 StarRocks 任务,在 DataStudio 模块中创建 MySql 类型节点,选择已经创建的连接到 StarRocks 的数据源,即可编写 SQL 任务,并设置调度周期来周期执行。

1692691421302-5f836e64-59ba-4e29-bc84-daf7ba79bf03.png

1692692987403-452380cf-7487-4f51-a893-836163556488.png


数据服务

选择已经配置的数据源 starrocksdb, 快速创建 web api 对外提供服务。数据服务支持向导模式和脚本模式两种编辑场景,脚本模式支持根据查询 SQL 语句自动生成 API 的请求参数和返回参数。

1692700283607-1e94002c-1024-4d77-b5c1-884a39a12bb2.png

1692700561503-c91132b4-967a-4372-b594-fbde58ce2846.png

1692700631270-f974e1cb-4812-4603-95eb-c252ba3ec1cb.png


欢迎免费测试:

EMR Serverless StarRocks

DataWorks独享数据集成资源组



欢迎钉钉扫码入群交流

image.png

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
2月前
|
SQL 分布式计算 DataWorks
活动实践 | DataWorks智能交互式数据开发与分析之旅
本指南介绍了如何使用阿里云平台进行大数据开发与分析。首先,在MaxCompute控制台创建项目并配置计算资源;接着,通过DataWorks控制台创建工作空间和独享资源组,并绑定工作空间。然后,创建个人开发环境,载入案例并新建Notebook实例。在Notebook中,通过SQL和Python Cell进行交互式开发和数据分析,体验智能助手Copilot的功能,如SQL改写、解释、生成注释及智能建表。最后,清理所有创建的资源,包括删除DataWorks资源、MaxCompute项目及网络配置,确保环境整洁。
|
1月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
155 15
|
22天前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
|
13天前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
|
13天前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
3月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
3月前
|
数据采集 DataWorks 大数据
开发者评测:DataWorks — 数据处理与分析的最佳实践与体验
阿里云DataWorks是一款集成化的大数据开发治理平台,支持从数据导入、清洗、分析到报告生成的全流程自动化。通过用户画像分析实践,验证了其高效的数据处理能力。DataWorks在电商和广告数据处理中表现出色,提供了强大的任务调度、数据质量监控和团队协作功能。相比其他工具,DataWorks易用性高,与阿里云服务集成紧密,但在API支持和成本优化方面有待提升。总体而言,DataWorks为企业提供了强有力的数据开发和治理支持,尤其适合有阿里云生态需求的团队。
326 17
|
3月前
|
SQL 分布式计算 DataWorks
DataWorks智能交互式数据开发与分析之旅
本次实验将带您进行DataWorks Notebook的快速入门,包含:Notebook新建、多引擎SQL开发与分析、Python开发、交互式分析等,同时,使用DataWorks Copilot体验智能数据开发,体验智能交互式数据探索之旅。
2685 11
|
2月前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
11天前
|
人工智能 运维 架构师
Serverless + AI 让应用开发更简单,加速应用智能化
Serverless + AI 让应用开发更简单,加速应用智能化