Hive引擎包括：默认MR、spark、tez
Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。
Spark on Hive：Hive只作为存储元数据（提供数据源），Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。
mr，基于磁盘进行计算，比较慢
spark，基于内存进行计算，速度比较快
对于超大数据量的话，hiveOnSpark可能会有内存溢出情况
Hive----执行引擎
2022-05-17
489
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
执行引擎
目录
相关文章
|
6月前
|
SQL
资源调度
数据库连接
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
在Tez上优化Hive查询，包括配置参数调整、理解并行化机制以及容器管理。关键步骤包括YARN调度器配置、安全阀设置、识别性能瓶颈（如mapper/reducer任务和连接操作），理解Tez如何动态调整mapper和reducer数量。例如，`tez.grouping.max-size` 影响mapper数量，`hive.exec.reducers.bytes.per.reducer` 控制reducer数量。调整并发和容器复用参数如`hive.server2.tez.sessions.per.default.queue` 和 `tez.am.container.reuse.enabled`
494
0
0
|
7月前
|
SQL
存储
Apache
|
SQL
分布式计算
Hadoop
|
SQL
分布式计算
资源调度
|
SQL
存储
消息中间件
|
SQL
分布式计算
运维
|
SQL
缓存
分布式计算
Hive引擎Spark优化配置参数1
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要描述在底层引擎为Spark时，经常会用到的、常见的配置参数。
2121
0
0
|
SQL
分布式计算
运维
技本功|Hive优化之Spark执行引擎参数调优（二）
影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。
本文主要结合实际业务情况，在使用Spark作为底层引擎时，通过一些常见的配置参数对报错任务进行调整优化，主要包含以下两个方面：
1266
0
0
|
SQL
分布式计算
Java
Delta Lake 0.5.0 正式发布，支持包括 Hive/Presto 等多种查询引擎
Delta Lake 0.5.0 于2019年12月13日正式发布，这个版本支持多种查询引擎查询 Delta Lake 的数据，比如常见的 Hive、Presto 查询引擎。并发操作得到改进。
2303
0
0
|
SQL
存储
消息中间件
Flink 作为现代数据仓库的统一引擎：Hive 集成生产就绪！
如果你对以上问题深有同感，那说明这篇文章很适合你。我们来看看如何真正解决这个问题。接下来我将带各位了解下 Flink 与 Hive 生产级别的整合工作。
1826
0
0
热门文章
最新文章
1
Hive之数据倾斜的原因和解决方法
2
Hive架构优点及使用场景
3
HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
4
hive 删除某个分区中部分数据
5
HIVE 表 DLL 基本操作（一）——第1关：Create/Alter/Drop 数据库
6
[Hive]Hive使用指南四 客户端导入数据
7
Flink教程（25）- Flink高级特性（FlinkSQL整合Hive）
8
如何将阿里云EMR中的Hive表数据迁移为Iceberg表？
9
Hive SQL开发中10个特殊日期获取方法
10
HADOOP之HIVE+MYSQL,HBASE+ZOOKEEPER