云数据仓库MaxCompute最佳实践之数据上云 | 2019飞天大数据平台技术公开课第五季

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 秋日杲杲,大数据技术公开课第五季开播!本季主题 “云数据仓库 MaxCompute 最佳实践之数据上云”。10.22日-11.12日,每周二 19:00,一起学习大数据。

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute 认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成全球首个TPCx-BB认证的公共云产品,是除Hive、Spark,TPCx-BB标准支持的第三个大数据引擎。MaxCompute不仅在TPCx-BB已有最大规模30TB上将性能提升近一倍,达到6427.86QPM,单位价格下降一半,达到169.76$/QPM。更是首次将TPC-BB的数据最大规模拓展到100TB,性能达到25641.21QPM。

MaxCompute 作为EB级的云智能数据仓库,通过自主研发做到持续优化存储与计算,打破数据量与成本的线性关系,做到了不使用不收费,相比自建IDC综合成本只需1/5。

那么,如何将数据同步至MaxCompute进行计算呢?本季课程将介绍四种常见的数据同步场景的最佳实践,希望可以对大数据开发者朋友们有所帮助。


kafka 数据如何同步到 MaxCompute 2019.10.22 19:00-19:40

【直播简介】本次直播主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】耿江涛 阿里云智能 技术支持工程师


image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


Hadoop 数据如何同步至 MaxCompute 2019.10.29 19:00-19:40

【直播简介】云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态?如何快速完成数据和业务的迁移以及生态系统的对接?MaxCompute提供了数据迁移工具-MMA,支持Meta、数据、作业和工作流的批量自动化迁移,帮助客户高效、低成本的上云,快速构建云上业务。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】马巍源 阿里云智能 产品专家

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


MySQL/RDS 数据如何同步到 MaxCompute 2019.11.5 19:00-19:40

【直播简介】本次直播主要讲解MySQL/RDS业务数据如何通过DataWorks数据集成或DTS同步到MaxCompute。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】刘力夺 阿里云智能 技术支持工程师

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


日志数据如何同步到 MaxCompute 2019.11.12 19:00-19:40

【直播简介】本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】刘建伟 阿里云智能 技术支持工程师

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>



往期回顾与干货下载>>>

大数据技术公开课第四季干货集合
大数据技术公开课第三季干货集合
大数据技术公开课第二季干货集合
大数据技术公开课第一季干货集合


第五季直播10.22日19:00在MaxCompute开发者社区准时开播,欢迎大数据开发者和爱好者们一起来。

点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
image

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
18天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
69 2
|
20天前
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
|
14天前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
20天前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
24天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
50 3
|
4月前
|
运维 数据库 数据库管理
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
|
2月前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
5月前
|
NoSQL Cloud Native Redis
|
7月前
|
Cloud Native 自动驾驶 NoSQL
亚太唯一,阿里云连续4年入选Gartner®云数据库管理系统魔力象限领导者象限
国际市场研究机构Gartner®日前公布2023年度全球《云数据库管理系统魔力象限》报告,阿里云成为亚太区唯一入选该报告“领导者(LEADERS)”象限的科技公司,同时也是唯一一家连续4年入选“领导者”象限的中国企业。
亚太唯一,阿里云连续4年入选Gartner®云数据库管理系统魔力象限领导者象限
|
7月前
|
弹性计算 关系型数据库 MySQL
阿里云MySQL云数据库优惠价格、购买和使用教程分享!
阿里云数据库使用流程包括购买和管理。首先,选购支持MySQL、SQL Server、PostgreSQL等的RDS实例,如选择2核2GB的MySQL,设定地域和可用区。购买后,等待实例创建。接着,创建数据库和账号,设置DB名称、字符集及账号权限。最后,通过DMS登录数据库,填写账号和密码。若ECS在同一地域和VPC内,可内网连接,记得将ECS IP加入白名单。
904 2

相关产品

  • 云原生大数据计算服务 MaxCompute