开发者社区大数据文章正文

Hive----执行引擎

2022-05-17 458

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 执行引擎

Hive引擎包括：默认MR、spark、tez

Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。

Spark on Hive：Hive只作为存储元数据（提供数据源），Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。

mr，基于磁盘进行计算，比较慢

spark，基于内存进行计算，速度比较快

对于超大数据量的话，hiveOnSpark可能会有内存溢出情况

文章标签：

分布式计算

SQL

Spark

HIVE

存储

关键词：

Hive引擎

Hive执行引擎

花笙

张飞的猪

3月前

SQL 资源调度数据库连接

Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南

在Tez上优化Hive查询，包括配置参数调整、理解并行化机制以及容器管理。关键步骤包括YARN调度器配置、安全阀设置、识别性能瓶颈（如mapper/reducer任务和连接操作），理解Tez如何动态调整mapper和reducer数量。例如，`tez.grouping.max-size` 影响mapper数量，`hive.exec.reducers.bytes.per.reducer` 控制reducer数量。调整并发和容器复用参数如`hive.server2.tez.sessions.per.default.queue` 和 `tez.am.container.reuse.enabled`

张飞的猪

89 0 0

Maynor

4月前

SQL 存储 Apache

流数据湖平台Apache Paimon（四）集成 Hive 引擎

Maynor

370 0 0

CodeDevMaster

11月前

SQL 分布式计算 Hadoop

配置Hive使用Spark执行引擎

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

CodeDevMaster

244 0 0

灵杰开发者

SQL 存储消息中间件

Hive SQL on Flink 构建流批一体引擎

阿里巴巴开发工程师罗宇侠&方盛凯，在 Flink Forward Asia 2022 流批一体专场的分享。

灵杰开发者

19072 3 4

从大数据到人工智能

SQL 分布式计算资源调度

hive-3.1.2安装以及使用tez作为执行引擎指南

本文介绍hive-3.1.2安装以及使用tez作为执行引擎指南

从大数据到人工智能

1424 0 0

袋鼠云

SQL 分布式计算运维

Hive引擎Spark优化配置参数2

上一篇内容讲了资源参数优化，本篇继续说明spark driver以及spark shuffle相关的参数调优。

袋鼠云

1100 0 0

袋鼠云

SQL 缓存分布式计算

Hive引擎Spark优化配置参数1

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要描述在底层引擎为Spark时，经常会用到的、常见的配置参数。

袋鼠云

2102 0 0