Hive----优化参数

set hive.exec.dynamic.partition=true;

--打开动态分区功能

set hive.exec.dynamic.partition.mode=nonstrict;

--将动态分区设为非严格模式

set hive.exec.dynamic.partition.mode=strict;

--将动态分区设为严格模式

set hive.exec.max.dynamic.partitions=1000;

--设置最大分区个数

set hive.enforce.bucketing=true;

--打开分桶模式

set mapreduce.job.reduces=-1;

--设置自动分区

set hive.exec.mode.local.auto=true;

--打开本地模式MR

set hive.exec.mode.local.auto.input.files.max=20

--设置本地最大输入文件个数

set hive.exec.mode.local.auto.inputbytes.max=1000000;

--设置本地最大输入文件大小

set hive.execution.engine=mr/spark

--设置hive的执行引擎，默认为mr

• 1. set hive.auto.convert.join = true ;   -- hive是否自动根据文件量大小，选择将common join转成map join 。hive 0.10 版本后的默认值 true。
  2. set  hive.mapjoin.smalltable.filesize =25000000 ；大表小表判断的阈值，如果表的大小小于该值25Mb，则会被判定为小表。则会被加载到内存中运行，将commonjoin转化成mapjoin。一般这个值也就最多几百兆的样子。
  3. set  hive.auto.convert.join.noconditionaltask = true;  翻译官网的解释：是否启用基于输入文件的大小，将普通连接转化为Map连接的优化机制。假设参与连接的表(或分区)有N个，如果打开这个参数，并且有N-1个表(或分区)的大小总和小于hive.auto.convert.join.noconditionaltask.size参数指定的值，那么会直接将连接转为Map连接。（说人话：默认值：true，当将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin，主要针对多个小表join大表的情形）

--开启mapjoin

--大小表join参数配置

set hive.cbo.enable=false

Hive 通过关闭CBO (Cost based Optimizer) 来优化特定的SQL执行,这个功能默认是开启的，在某些情况下反而会导致Query的执行效率降低