場景：

故障出現在hive on tez的地方

故障復現:

啟動hadoop并且離開安全模式

startmeta

hiveserver2

$HADOOP_HOME/bin/yarn timelineserver

beeline>insert into test(name,pwd,createdate)values('name1','pwd1','2017-06-20 14:14:09');

?如下:

?

根據前面的info信息,得到application的id是:

1608265226746

打開yarn界面

報錯是:

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): Invalid resource request, requested resource type=[memory-mb] < 0 or greater than maximum allowed allocation. Requested resource=<memory:-1, vCores:1>, maximum allowed allocation=<memory:4096, vCores:2>, please note that maximum allowed allocation is calculated by scheduler based on maximum resource of registered NodeManagers, which might be less than configured maximum allocation=<memory:9216, vCores:4>

講人話是:

可分配的資源是<memory:4096, vCores:2>,

你要求的是<memory:-1, vCores:1>

你一定會問:

memory:-1啥意思?

這是因為

hive.tez.container.size默認值為-1

?

?

解決方案:

$HADOOP/etc/hadoop/tez-site.xml中修改為

<name>hive.tez.container.size</name>
? ? ?<value>2048</value>
</property>

<name>tez.am.resource.memory.mb</name>
? ? ?<value>2048</value>
</property>

注意這里的2048都需要大于等于yarn.scheduler.minimum-allocation-mb

我知道你會有疑問,我的tez-site.xml里面原本沒有上述兩個變量啊.

沒事,你新添上去就好了.

?

最終效果:

?

?

Reference:
[1]Tez優化參數設置
[2]hive tez調優（3）

?

總結

以上是生活随笔為你收集整理的Requested resource=＜memory:-1, vCores:1＞问题解决的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。