動(dòng)態(tài)分區(qū)

設(shè)置如下參數(shù)開啟動(dòng)態(tài)分區(qū)：
hive.exec.dynamic.partition=true
默認(rèn)值：false
描述：是否允許動(dòng)態(tài)分區(qū)
hive.exec.dynamic.partition.mode=nonstrict
默認(rèn)值：strict
描述：strict是避免全分區(qū)字段是動(dòng)態(tài)的，必須有至少一個(gè)分區(qū)字段是指定有值的

設(shè)置如下參數(shù)配置動(dòng)態(tài)分區(qū)的使用環(huán)境：
hive.exec.max.dynamic.partitions.pernode=100
默認(rèn)值：100
描述：each mapper or reducer可以創(chuàng)建的最大動(dòng)態(tài)分區(qū)數(shù)
hive.exec.max.dynamic.partitions=1000
默認(rèn)值：1000
描述：一個(gè)DML操作可以創(chuàng)建的最大動(dòng)態(tài)分區(qū)數(shù)
hive.exec.max.created.files=100000
默認(rèn)值：100000
描述：一個(gè)DML操作可以創(chuàng)建的文件數(shù)

設(shè)置如下參數(shù)取消一些限制(HIVE 0.7后沒有此限制)：
hive.merge.mapfiles=false
默認(rèn)值：true
描述：是否合并Map的輸出文件
hive.merge.mapredfiles=false
默認(rèn)值：false
描述：是否合并Reduce的輸出文件

?

文件類型

lzo文件類型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

parquet文件類型
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat

?

轉(zhuǎn)載于:https://www.cnblogs.com/wujin/p/6076784.html

總結(jié)

以上是生活随笔為你收集整理的hive中的一些参数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。