1.使用mr 執行任務時報 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

問題解析：整合phoenix時造成的錯誤；
解決： 添加phoenix-xxx-hbase-xxx-hive.jar、phoenix-xxx-hbase-xxx-client.jar 、phoenix-core-xxx-HBase-xxx.jar三個jar到hive/lib目錄下

參考：https://blog.csdn.net/madongyu1259892936/article/details/88355257

2.Diagnostic Messages for this Task: Error: Java heap space

Task with the most failures(4): ----- Task ID:task_1574902865618_0001_m_000000URL:http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1574902865618_0001&tipid=task_1574902865618_0001_m_000000 ----- Diagnostic Messages for this Task: Error: Java heap spaceFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

解決：
設置 set io.sort.mb=10; 默認值是100，問題輕松解決；
其他幾個參數： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解決數據傾斜問題

io.sort.mb 的作用
排序所使用的內存數量。
默認值：100M，需要與mapred.child.java.opts相配 默認：-Xmx200m。
不能超過mapred.child.java.opt設置，否則會OOM。
參考：https://blog.csdn.net/lazythinker/article/details/52872171

總結

以上是生活随笔為你收集整理的hive 部分问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。