场景描述
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
解决问题
- Hive数据仓库的数据迁移方案
- Hive元数据库的迁移方案
- Hive跨版本迁移后的数据订正
产品列表
- 专有网络VPC
- 弹性计算ECS
- VPN网关
- 弹性MapReduce
- 对象存储OSS
自建Hive数据仓库迁移到阿里云EMR
2020-02-18
575
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。目前主流Hive数据仓库迁移场景为1.x版本迁移到阿里云EMR(Hive 2.x版本），涉及到数据订正更新步骤。
场景描述
解决问题
产品列表
目录
相关文章
|
3天前
|
SQL
弹性计算
分布式计算
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。
36
15
15
|
3月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
本文介绍了阿里云EMR StarRocks在数据湖分析领域的应用，涵盖StarRocks的数据湖能力、如何构建基于Paimon的实时湖仓、StarRocks与Paimon的最新进展及未来规划。文章强调了StarRocks在极速统一、简单易用方面的优势，以及在数据湖分析加速、湖仓分层建模、冷热融合及全链路ETL等场景的应用。
350
8
8
|
3月前
|
SQL
存储
缓存
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本，该版本不仅基于开源 StarRocks 进行了全面优化，实现了存储与计算解耦架构，还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
454
6
6
|
3月前
|
SQL
存储
缓存
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
讲师焦明烨介绍了StarRocks的数据湖能力，如何使用阿里云EMR StarRocks构建基于Paimon的极速实时湖仓，StarRocks与Paimon的最新进展及未来规划。
163
3
3
|
4月前
|
SQL
分布式计算
Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
192
3
3
|
4月前
|
SQL
存储
NoSQL
|
5月前
|
存储
分布式计算
大数据
大数据革新在即，阿里云EMR如何布局DeltaLake引领行业潮流？
【8月更文挑战第26天】大数据时代，实时处理与分析能力对企业至关重要。Delta Lake 作为高性能、可靠且支持 ACID 事务的开源存储层，已成为业界焦点。阿里云 EMR 深度布局 Delta Lake，计划深化集成、强化数据安全、优化实时性能，并加强生态建设与社区贡献。通过与 Spark 的无缝对接及持续的技术创新，阿里云 EMR 致力于提供更高效、安全的数据湖解决方案，引领大数据处理领域的发展新方向。
63
3
3
|
5月前
|
存储
分布式计算
监控
揭秘阿里云EMR：如何巧妙降低你的数据湖成本，让大数据不再昂贵？
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务，助力企业优化数据湖的成本效益。它提供弹性计算资源，支持根据需求调整规模；兼容并优化了Hadoop、Spark等开源工具，提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具，EMR简化了数据湖构建与管理流程，实现了数据的统一化治理。此外，EMR还支持OSS、Table Store等多种存储选项，并配备监控优化工具，确保数据处理流程高效稳定。通过这些措施，EMR帮助企业显著降低了数据处理和存储成本。
207
3
3
|
5月前
|
安全
数据管理
大数据
数据湖的未来已来：EMR DeltaLake携手阿里云DLF，重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域，阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务，实现了数据湖的一站式管理，自动化处理元数据及权限控制，简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平，让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
111
2
2
|
5月前
|
存储
分布式计算
大数据
阿里云 EMR 强势助力，与阿里云大数据体系共创辉煌，把握时代热点，开启生态建设之旅
【8月更文挑战第26天】阿里云EMR（Elastic MapReduce）是一种大数据处理服务，与阿里云的多个服务紧密结合，共同构建了完善的大数据生态系统。EMR与对象存储服务（OSS）集成，利用OSS提供可靠、低成本且可扩展的数据存储；与MaxCompute集成，实现深度数据分析和挖掘；还支持数据湖构建服务，加速数据湖的搭建并简化数据管理与分析过程。EMR提供多种编程接口及工具，如Hive、Spark和Flink等，帮助用户高效完成大数据处理任务。
156
2
2
热门文章
最新文章
1
Apache Doris 创始人：何为“现代化”的数据仓库？
2
EMR Serverless StarRocks 全面升级：重新定义实时湖仓分析
3
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
4
了解Hive 工作原理：Hive 是如何工作的？
5
Snowflake 与传统数据仓库相比有哪些优势？
6
数据仓库建模规范思考
7
数据仓库的性能问题及解决之道
8
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
9
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
10
业内首次融合数据仓库与数据湖 阿里云推出下一代大数据平台 “湖仓一体”
1
MaxCompute产品使用合集之如何将数据迁移到CDH Hive
125
2
实时计算 Flink版操作报错合集之从mysql读数据写到hive报错，是什么原因
220
3
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
196
4
大数据处理平台Hive详解
347
5
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
87
6
DataWorks操作报错合集之在进行Hive分区truncate操作时遇到权限不足，怎么解决
100
7
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
248
8
分布式系统详解 -- Hive1.2.1 安装
88
9
杨校老师课题之Hive数据仓库搭建2
59
10
杨校老师课题之Hive数据仓库搭建1
87