問題

?今天一大早給運營小妹用sparksql跑埋點數據，但是sparksql卻給我拋了這么一個東西。

select source,version,count(1) as num from app.app_record group bysource,version

?**java.sql.SQLException: java.lang.RuntimeException: serious problem
at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:279)
at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:375)……………………一下省略xxxx個字
**

?剛報這個錯誤，在下立馬懵逼了，上面的代碼在hive里面可以完美運行，但是醫用sparksql讀hive的數據就會出現上面的問題。

?為了維持在下在運營小妹心中的英勇、偉岸的形象，我先以數據量太大，需要跑很久的理由將運營小妹支開，然后瘋狂百度，最后找到了三種方法。

尋找解決辦法

1.set hive.fetch.task.conversion=none; (失敗)**

2.set hive.exec.orc.split.strategy=BI;（失敗）**

3.將存儲格式從orc改成parquet （不敢）

?經過幾番折騰（百度，谷歌）然后在下在對應的hdfs目錄下找到了一個空的文件夾，是當時在下做測試的，將測試數據刪除留下的，其所有用戶是在下操作hive表是留下的data用戶，當時我就猜想**（有病亂投醫）**可能會和這個空文件有關，如果刪除了這個空文件應該OK。

最終解決方法

?刪除hdfs上對應的空文件目錄

hadoop fs -rm -r /usr/local/hive/warehouse/你的對應的空文件夾的目錄

?所有問題迎刃而解，運營小妹要的數據很快也給她了，嘴里喝到運營小妹給的阿薩姆奶茶時，在下心想，“運營小妹其實也挺不錯的！”

?(又是有病亂投醫，瞎幾把搞定的（笑哭……）)

總結

以上是生活随笔為你收集整理的sparksql出现 serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。