Impala 调用Hbase 报错 LeaseException
?impala調用Hbase表數據操作時,提示?LeaseException 異常,主要原因是hbase數據過大,調用期間沒有匯報心跳導致
WARNINGS: LeaseException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)CAUSED BY: RemoteWithExtrasException: org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8355984789923245890' does not existat org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:224)at org.apache.hadoop.hbase.regionserver.RSRpcServices.scan(RSRpcServices.java:3288)at org.apache.hadoop.hbase.shaded.protobuf.generated.ClientProtos$ClientService$2.callBlockingMethod(ClientProtos.java:42002)at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:409)at org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:130)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:324)at org.apache.hadoop.hbase.ipc.RpcExecutor$Handler.run(RpcExecutor.java:304)?
是租約(Lease)過期或租約不存在,所謂租約,是指hbase client端每次和regionserver交互的時候,都會在服務器端生成一個租約(Lease),租約的有效期由參數hbase.regionserver.lease.period確定。
?
客戶端去regionserver取數據的時候,hbase中存得數據量很大并且很多region的時候的,客戶端請求的region不在內存中,或是沒有被cache住,需要從磁盤中加載,如果這時候加載需要的時間超過hbase.regionserver.lease.period所配置的時間,并且客戶端沒有和regionserver報告其還活著,那么regionserver就會認為本次租約已經過期,并從LeaseQueue中從刪除掉本次租約,當regionserver加載完成后,拿已經被刪除的租約再去取數據的時候,就會出現如上的錯誤現象。
?
其實在做hbase批量數據刪除的時候就出現過這個問題,然后也修改了hbase.regionserver.lease.period參數(默認為60000,一分鐘),但是在做scan的時候還是出現了上面的問題。問題出在哪呢?
?
后來發現是hbase.rpc.timeout的問題,出現租約過期的時候,可以根據需求適當的增加租約的有效時間,但卻忽略了RPC超時的問題,所以在增大hbase.regionserver.lease.period的時候應該同時增大hbase.rpc.timeout,同時hbase.rpc.timeout應該等于或大于hbase.regionserver.lease.period。
總結
以上是生活随笔為你收集整理的Impala 调用Hbase 报错 LeaseException的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Springboot 集成 Swagge
- 下一篇: Win10下VS2015(WDK10)驱