什么情況下Hive可以避免進行MapReduce
hive 為了執(zhí)行效率考慮，簡單的查詢，就是只是select，不帶count,sum,group by這樣的，都不走map/reduce，直接讀取hdfs目錄中的文件進行filter過濾。

sql select * from employee;

sql select * from order_partition where month=‘2020-05’;

此外，如果設(shè)置屬性 set hive.exec.mode.local.auto=true; hive還是會嘗試使用本地模式。

1、直接查詢表的數(shù)據(jù) 不會進行Mapreduce。
2、查詢語句中的過濾條件只是分區(qū)字段的情況下 不會進行Mapreduce。

Hive表中間數(shù)據(jù)壓縮

shell #設(shè)置為true為激活中間數(shù)據(jù)壓縮功能，默認是false，沒有開啟 set hive.exec.compress.intermediate=true; #設(shè)置中間數(shù)據(jù)的壓縮算法 set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;

總結(jié)

以上是生活随笔為你收集整理的hive避免MR的情况的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。