AI 助理
备案控制台
开发者社区 数据库 文章 正文

Hive sql 执行原理

2023-12-29 73
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Hive sql 执行原理

1.Group By的执行任务

2.distinct的执行任务：

尽量用group by

3.join 执行任务：

从这个实现可以看出，我们在写Hive Join的时候，应该尽可能把小表（分布均匀的表）写在左边，大表（或倾斜表）写在右边。这样可以有效利用内存和硬盘的关系，提高Hive的处理能力。

学会用explain 查看hive sql 执行计划

Hive底层原理：explain执行计划详解

参考：

hive原理及执行任务流程优化


文章标签：
SQL
HIVE
关键词：
SQL hive
SQL原理
诸葛子房
目录
相关文章
hju6meadphitw
|
29天前
|
SQL 关系型数据库 数据库
SQL数据库：核心原理与应用实践
随着信息技术的飞速发展，数据库管理系统已成为各类组织和企业中不可或缺的核心组件。在众多数据库管理系统中，SQL（结构化查询语言）数据库以其强大的数据管理能力和灵活性，广泛应用于各类业务场景。本文将深入探讨SQL数据库的基本原理、核心特性以及实际应用。一、SQL数据库概述SQL数据库是一种关系型数据库
hju6meadphitw
30 5
武子康
|
28天前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
52 3
游客qsxez56gggwqy
|
29天前
|
SQL 监控 安全
SQL注入公鸡分类及原理
SQL注入公鸡分类及原理
游客qsxez56gggwqy
18 1
游客qsxez56gggwqy
|
30天前
|
SQL 关系型数据库 MySQL
sql注入原理与实战（三）数据库操作
sql注入原理与实战（三）数据库操作
游客qsxez56gggwqy
11 0
sql注入原理与实战（三）数据库操作
武子康
|
27天前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
34 0
武子康
|
27天前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
66 0
武子康
|
27天前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
27 0
武子康
|
27天前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
68 0
游客qsxez56gggwqy
|
30天前
|
SQL 关系型数据库 Serverless
sql注入原理与实战（四）数据表操作
sql注入原理与实战（四）数据表操作
游客qsxez56gggwqy
10 0
游客qsxez56gggwqy
|
30天前
|
SQL 存储 Java
sql注入原理与实战（二）数据库原理
sql注入原理与实战（二）数据库原理
游客qsxez56gggwqy
12 0

热门文章

最新文章

  • 1
    RDS for SQL server 空间问题排查汇总
  • 2
    SQL Server 2008 R2 死锁监控
  • 3
    SQL Server 2005合并列成字符串 2008-11-07
  • 4
    sql script: select database select all table
  • 5
    使用T-SQL脚本在SQL Server创建角色，并给角色赋予相应权限
  • 6
    基于SQL Server的打车系统数据库分析与设计
  • 7
    SQL Server-聚焦事务对本地变量、临时表、表变量影响以及日志文件存满时如何收缩（三十一）
  • 8
    [SQL Server]一次执行资料夹内的.sql 指令码
  • 9
    SQL Server 事务日志传输
  • 10
    通过shell脚本监控sql执行频率
  • 1
    bigdata-17-Hive部署与Hive基础
    122
  • 2
    阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
    911
  • 3
    hive学习笔记
    56
  • 4
    DataWorks报错问题之集成hive数据源报错如何解决
    122
  • 5
    DataWorks报错问题之从hive到mysql报错如何解决
    61
  • 6
    Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
    328
  • 7
    Apache Hudi与Hive集成手册
    339
  • 8
    DataWorks常见问题之hive jdbc加载数据错误如何解决
    93
  • 9
    Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）
    1203
  • 10
    Hive窗口函数案例总结
    68

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据Hive教程精讲
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Hive Bucketing in Apache Spark
  • spark替代HIVE实现ETL作业
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • SQL的增删改查及函数应用
  • PolarDB MySQL自动SQL限流
  • 如何开通SQL Server的专属集群
  • 使用DAS实现数据库自动SQL优化
  • 使用DAS实现数据库自动SQL限流
  • 一小时快速掌握 SQL 语法
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月