hive.exec.mode.local.auto 決定 Hive 是否應該自動地根據輸入文件大小，在本地運行（在GateWay運行） truehive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 為 true，當輸入文件大小小于此閾值時可以自動在本地模式運行，默認是 128兆。 134217728Lhive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.auto 為 true，當 Hive Tasks（Hadoop Jobs）小于此閾值時，可以自動在本地模式運行。 4hive.auto.convert.join 是否根據輸入小表的大小，自動將 Reduce 端的 Common Join 轉化為 Map Join，從而加快大表關聯小表的 Join 速度。 falsehive.mapred.local.mem Mapper/Reducer 在本地模式的最大內存量，以字節為單位，0為不限制。 0mapred.reduce.tasks 所提交 Job 的 reduer 的個數，使用 Hadoop Client 的配置。 1hive.exec.scratchdir HDFS路徑，用于存儲不同 map/reduce 階段的執行計劃和這些階段的中間輸出結果。 /tmp/<user.name>/hivehive.metastore.warehouse.dir Hive 默認的數據文件存儲路徑，通常為 HDFS 可寫的路徑。 "hive.groupby.skewindata 決定 group by 操作是否支持傾斜的數據。 falsehive.merge.mapfiles 是否開啟合并 Map 端小文件，對于 Hadoop 0.20 以前的版本，起一首新的 Map/Reduce Job，對于 0.20 以后的版本，則是起使用 CombineInputFormat 的 MapOnly Job。 truehive.merge.mapredfiles 是否開啟合并 Map/Reduce 小文件，對于 Hadoop 0.20 以前的版本，起一首新的 Map/Reduce Job，對于 0.20 以后的版本，則是起使用 CombineInputFormat 的 MapOnly Job。 falsehive.default.fileformat Hive 默認的輸出文件格式，與創建表時所指定的相同，可選項為 'TextFile' 、 'SequenceFile' 或者 'RCFile'。 'TextFile'hive.mapred.mode Map/Redure 模式，如果設置為 strict，將不允許笛卡爾積。 'nonstrict'hive.exec.parallel 是否開啟 map/reduce job的并發提交。 falsehive.security.authorization.enabled Hive 是否開啟權限認證。 falsehive.exec.plan Hive 執行計劃的路徑，會在程序中自動進行設置 nullhive.exec.submitviachild 決定 map/reduce Job 是否應該使用各自獨立的 JVM 進行提交（Child進程），默認情況下，使用與 HQL compiler 相同的 JVM 進行提交。 falsehive.exec.script.maxerrsize 通過 TRANSFROM/MAP/REDUCE 所執行的用戶腳本所允許的最大的序列化錯誤數。 100000hive.exec.script.allow.partial.consumption 是否允許腳本只處理部分數據，如果設置為 true ，因 broken pipe 等造成的數據未處理完成將視為正常。 falsehive.exec.compress.output 決定查詢中最后一個 map/reduce job 的輸出是否為壓縮格式。 falsehive.exec.compress.intermediate 決定查詢的中間 map/reduce job （中間 stage）的輸出是否為壓縮格式。 falsehive.intermediate.compression.codec 中間 map/reduce job 的壓縮編解碼器的類名（一個壓縮編解碼器可能包含多種壓縮類型），該值可能在程序中被自動設置。 hive.intermediate.compression.type 中間 map/reduce job 的壓縮類型，如 "BLOCK" "RECORD"。 hive.exec.reducers.bytes.per.reducer 每一個 reducer 的平均負載字節數。 1000000000hive.exec.reducers.max reducer 個數的上限。 999hive.exec.pre.hooks 語句層面，整條 HQL 語句在執行前的 hook 類名。 "hive.exec.post.hooks 語句層面，整條 HQL 語句在執行完成后的 hook 類名。 hive.exec.parallel.thread.number 并發提交時的并發線程的個數。 8hive.mapred.reduce.tasks.speculative.execution 是否開啟 reducer 的推測執行，與 mapred.reduce.tasks.speculative.execution 作用相同。 falsehive.exec.counters.pull.interval 客戶端拉取 progress counters 的時間，以毫秒為單位。 1000Lhive.exec.dynamic.partition 是否打開動態分區。 falsehive.exec.dynamic.partition.mode 打開動態分區后，動態分區的模式，有 strict 和 nonstrict 兩個值可選，strict 要求至少包含一個靜態分區列，nonstrict 則無此要求。 stricthive.exec.max.dynamic.partitions 所允許的最大的動態分區的個數。 1000hive.exec.max.dynamic.partitions.pernode 單個 reduce 結點所允許的最大的動態分區的個數。 100hive.exec.default.partition.name 默認的動態分區的名稱，當動態分區列為''或者null時，使用此名稱。'' '__HIVE_DEFAULT_PARTITION__'hadoop.bin.path Hadoop Client 可執行腳本的路徑，該路徑用于通過單獨的 JVM 提交 job，使用 Hadoop Client 的配置。 $HADOOP_HOME/bin/hadoophadoop.config.dir Hadoop Client 配置文件的路徑，使用 Hadoop Client 的配置。 $HADOOP_HOME/conffs.default.name Namenode 的 URL，使用 Hadoop Client 的配置。 file:///map.input.file Map 的輸入文件，使用 Hadoop Client 的配置。 nullmapred.input.dir Map 的輸入目錄，使用 Hadoop Client 的配置。 nullmapred.input.dir.recursive 輸入目錄是否可遞歸嵌套，使用 Hadoop Client 的配置。 falsemapred.job.tracker Job Tracker 的 URL，使用 Hadoop Client 的配置，如果這個配置設置為 'local'，將使用本地模式。 localmapred.job.name Map/Reduce 的 job 名稱，如果沒有設置，則使用生成的 job name，使用 Hadoop Client 的配置。 nullmapred.reduce.tasks.speculative.execution Map/Reduce 推測執行，使用 Hadoop Client 的配置。 nullhive.metastore.metadb.dir Hive 元數據庫所在路徑。 "hive.metastore.uris Hive 元數據的 URI，多個 thrift://地址，以英文逗號分隔。 "hive.metastore.connect.retries 連接到 Thrift 元數據服務的最大重試次數。 3javax.jdo.option.ConnectionPassword JDO 的連接密碼。 "hive.metastore.ds.connection.url.hook JDO 連接 URL Hook 的類名，該 Hook 用于獲得 JDO 元數據庫的連接字符串，為實現了 JDOConnectionURLHook 接口的類。 "javax.jdo.option.ConnectionURL 元數據庫的連接 URL。 "hive.metastore.ds.retry.attempts 當沒有 JDO 數據連接錯誤后，嘗試連接后臺數據存儲的最大次數。 1hive.metastore.ds.retry.interval 每次嘗試連接后臺數據存儲的時間間隔，以毫秒為單位。 1000hive.metastore.force.reload.conf 是否強制重新加載元數據配置，一但重新加載，該值就會被重置為 false。 falsehive.metastore.server.min.threads Thrift 服務線程池的最小線程數。 8hive.metastore.server.max.threads Thrift 服務線程池的最大線程數。 0x7fffffffhive.metastore.server.tcp.keepalive Thrift 服務是否保持 TCP 連接。 truehive.metastore.archive.intermediate.original 用于歸檔壓縮的原始中間目錄的后綴，這些目錄是什么并不重要，只要能夠避免沖突即可。 '_INTERMEDIATE_ORIGINAL'hive.metastore.archive.intermediate.archived 用于歸檔壓縮的壓縮后的中間目錄的后綴，這些目錄是什么并不重要，只要能夠避免沖突即可。 '_INTERMEDIATE_ARCHIVED'hive.metastore.archive.intermediate.extracted 用于歸檔壓縮的解壓后的中間目錄的后綴，這些目錄是什么并不重要，只要能夠避免沖突即可。 '_INTERMEDIATE_EXTRACTED'hive.cli.errors.ignore 是否忽略錯誤，對于包含多的 SQL 文件，可以忽略錯誤的行，繼續執行下一行。 falsehive.session.id 當前會話的標識符，格式為“用戶名_時間”用于記錄在 job conf 中，一般不予以手動設置。 "hive.session.silent 當前會話是否在 silent 模式運行。 如果不是 silent 模式，所以 info 級打在日志中的消息，都將以標準錯誤流的形式輸出到控制臺。falsehive.query.string 當前正在被執行的查詢字符串。 "hive.query.id 當前正在被執行的查詢的ID。 "hive.query.planid 當前正在被執行的 map/reduce plan 的 ID。 "hive.jobname.length 當前 job name 的最大長度，hive 會根據此長度省略 job name 的中間部分。 50hive.jar.path 通過單獨的 JVM 提交 job 時，hive_cli.jar 所在的路徑 "hive.aux.jars.path 各種由用戶自定義 UDF 和 SerDe 構成的插件 jar 包所在的路徑。 "hive.added.files.path ADD FILE 所增加的文件的路徑。 "hive.added.jars.path ADD JAR 所增加的文件的路徑。 "hive.added.archives.path ADD ARCHIEVE 所增加的文件的路徑。 "hive.table.name 當前的 Hive 表的名稱，該配置將通過 ScirptOperator 傳入到用戶腳本中。 "hive.partition.name 當前的 Hive 分區的名稱，該配置將通過 ScriptOperator 傳入到用戶腳本中。 "hive.script.auto.progress 腳本是否周期性地向 Job Tracker 發送心跳，以避免腳本執行的時間過長，使 Job Tracker 認為腳本已經掛掉了。 falsehive.script.operator.id.env.var 用于識別 ScriptOperator ID 的環境變量的名稱。 'HIVE_SCRIPT_OPERATOR_ID'hive.alias 當前的 Hive 別名，該配置將通過 ScriptOpertaor 傳入到用戶腳本中。 "hive.map.aggr 決定是否可以在 Map 端進行聚合操作 truehive.join.emit.interval Hive Join 操作的發射時間間隔，以毫秒為單位。 1000hive.join.cache.size Hive Join 操作的緩存大小，以字節為單位。 25000hive.mapjoin.bucket.cache.size Hive Map Join 桶的緩存大小，以字節為單位。 100hive.mapjoin.size.key Hive Map Join 每一行鍵的大小，以字節為單位。 10000hive.mapjoin.cache.numrows Hive Map Join 所緩存的行數。 25000hive.groupby.mapaggr.checkinterval 對于 Group By 操作的 Map 聚合的檢測時間，以毫秒為單位。 100000hive.map.aggr.hash.percentmemory Hive Map 端聚合的哈稀存儲所占用虛擬機的內存比例。 0.5hive.map.aggr.hash.min.reduction Hive Map 端聚合的哈稀存儲的最小 reduce 比例。 0.5hive.udtf.auto.progress Hive UDTF 是否周期性地報告心跳，當 UDTF 執行時間較長且不輸出行時有用。 falsehive.fileformat.check Hive 是否檢查輸出的文件格式。 truehive.querylog.location Hive 實時查詢日志所在的目錄，如果該值為空，將不創建實時的查詢日志。 '/tmp/$USER'hive.script.serde Hive 用戶腳本的 SerDe。 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'hive.script.recordreader Hive 用戶腳本的 RecordRedaer。 'org.apache.hadoop.hive.ql.exec.TextRecordReader'hive.script.recordwriter Hive 用戶腳本的 RecordWriter。 'org.apache.hadoop.hive.ql.exec.TextRecordWriter'hive.hwi.listen.host HWI 所綁定的 HOST 或者 IP。 '0.0.0.0'hive.hwi.listen.port HWI 所監聽的 HTTP 端口。 9999hive.hwi.war.file HWI 的 war 文件所在的路徑。 $HWI_WAR_FILEhive.test.mode 是否以測試模式運行 Hive falsehive.test.mode.prefix Hive 測試模式的前綴。 'test_'hive.test.mode.samplefreq Hive 測試模式取樣的頻率，即每秒鐘取樣的次數。 32hive.test.mode.nosamplelist Hive 測試模式取樣的排除列表，以逗號分隔。 "hive.merge.size.per.task 每個任務合并后文件的大小，根據此大小確定 reducer 的個數，默認 256 M。 256000000hive.merge.smallfiles.avgsize 需要合并的小文件群的平均大小，默認 16 M。 16000000hive.optimize.skewjoin 是否優化數據傾斜的 Join，對于傾斜的 Join 會開啟新的 Map/Reduce Job 處理。 falsehive.skewjoin.key 傾斜鍵數目閾值，超過此值則判定為一個傾斜的 Join 查詢。 1000000hive.skewjoin.mapjoin.map.tasks 處理數據傾斜的 Map Join 的 Map 數上限。 10000hive.skewjoin.mapjoin.min.split 處理數據傾斜的 Map Join 的最小數據切分大小，以字節為單位，默認為32M。 33554432mapred.min.split.size Map Reduce Job 的最小輸入切分大小，與 Hadoop Client 使用相同的配置。 1hive.mergejob.maponly 是否啟用 Map Only 的合并 Job。 truehive.heartbeat.interval Hive Job 的心跳間隔，以毫秒為單位。 1000hive.mapjoin.maxsize Map Join 所處理的最大的行數。超過此行數，Map Join進程會異常退出。 1000000hive.hashtable.initialCapacity Hive 的 Map Join 會將小表 dump 到一個內存的 HashTable 中，該 HashTable 的初始大小由此參數指定。 100000hive.hashtable.loadfactor Hive 的 Map Join 會將小表 dump 到一個內存的 HashTable 中，該 HashTable 的負載因子由此參數指定。 0.75hive.mapjoin.followby.gby.localtask.max.memory.usage MapJoinOperator后面跟隨GroupByOperator時，內存的最大使用比例 0.55hive.mapjoin.localtask.max.memory.usage Map Join 的本地任務使用堆內存的最大比例 0.9hive.mapjoin.localtask.timeout Map Join 本地任務超時，淘寶版特有特性 600000hive.mapjoin.check.memory.rows 設置每多少行檢測一次內存的大小，如果超過 hive.mapjoin.localtask.max.memory.usage 則會異常退出，Map Join 失敗。 100000hive.debug.localtask 是否調試本地任務，目前該參數沒有生效 falsehive.task.progress 是否開啟 counters ，以記錄 Job 執行的進度，同時客戶端也會拉取進度 counters。 falsehive.input.format Hive 的輸入 InputFormat。 默認是org.apache.hadoop.hive.ql.io.HiveInputFormat，其他還有org.apache.hadoop.hive.ql.io.CombineHiveInputFormathive.enforce.bucketing 是否啟用強制 bucketing。 falsehive.enforce.sorting 是否啟用強制排序。 falsehive.mapred.partitioner Hive 的 Partitioner 類。 'org.apache.hadoop.hive.ql.io.DefaultHivePartitioner'hive.exec.script.trust Hive Script Operator For trust falsehive.hadoop.supports.splittable.combineinputformat 是否支持可切分的 CombieInputFormat falsehive.optimize.cp 是否優化列剪枝。 truehive.optimize.ppd 是否優化謂詞下推。 truehive.optimize.groupby 是否優化 group by。 truehive.optimize.bucketmapjoin 是否優化 bucket map join。 falsehive.optimize.bucketmapjoin.sortedmerge 是否在優化 bucket map join 時嘗試使用強制 sorted merge bucket map join。 falsehive.optimize.reducededuplication 是否優化 reduce 冗余。 truehive.hbase.wal.enabled 是否開啟 HBase Storage Handler。 truehive.archive.enabled 是否啟用 har 文件。 falsehive.archive.har.parentdir.settable 是否啟用 har 文件的父目錄可設置。 falsehive.outerjoin.supports.filters 是否啟動外聯接支持過濾條件。 truehive.fetch.output.serde 對于 Fetch Task 的 SerDe 類 'org.apache.hadoop.hive.serde2.DelimitedJSONSerDe'hive.semantic.analyzer.hook Hive 語義分析的 Hook，在語義分析階段的前后被調用，用于分析和修改AST及生成的執行計劃，以逗號分隔。 nullhive.cli.print.header 是否顯示查詢結果的列名，默認為不顯示。 falsehive.cli.encoding Hive 默認的命令行字符編碼。 'UTF8'hive.log.plan.progress 是否記錄執行計劃的進度。 truehive.pull.progress.counters 是否從 Job Tracker 上拉取 counters，淘寶特有配置項。 truehive.job.pre.hooks 每個 Job 提交前執行的 Hooks 列表，以逗號分隔，淘寶特有配置項。 "hive.job.post.hooks 每個 Job 完成后執行的 Hooks 列表，以逗號分隔，淘寶特有配置項。 "hive.max.progress.counters Hive 最大的進度 couters 個數，淘寶特有配置項。 100hive.exec.script.wrapper Script Operator 腳本調用的封裝，通常為腳本解釋程序。例如，可以把該變量值的名稱設置為"python"，那么傳遞到 Script Operator 的腳本將會以"python <script command>"的命令形式進行調用，如果這個值為null或者沒有設置，那么該腳本將會直接以"<script command>"的命令形式調用。 nullhive.check.fatal.errors.interval 客戶端通過拉取 counters 檢查嚴重錯誤的周期，以毫秒為單位，淘寶特有配置項。 5000L

?

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的hive 配置参数说明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。