故障排除

本教程旨在為正在構(gòu)建，部署和使用 CarbonData 的用戶和開(kāi)發(fā)人員提供故障排除。

當(dāng)加載數(shù)據(jù)時(shí)，遇到 tablestatus.lock 問(wèn)題:

現(xiàn)象

17/11/11 16:48:13 ERROR LocalFileLock: main hdfs:/localhost:9000/carbon/store/default/hdfstable/tablestatus.lock (No such file or directory)

java.io.FileNotFoundException: hdfs:/localhost:9000/carbon/store/default/hdfstable/tablestatus.lock (No such file or directory)

at java.io.FileOutputStream.open0(Native Method)

at java.io.FileOutputStream.open(FileOutputStream.java:270)

at java.io.FileOutputStream.(FileOutputStream.java:213)

at java.io.FileOutputStream.(FileOutputStream.java:101)

可能原因

當(dāng)你創(chuàng)建 carbonsession 時(shí)使用 作為存儲(chǔ)路徑，你可能會(huì)遇到這種錯(cuò)誤，因?yàn)槟J(rèn)的鎖類型是 LOCALLOCK。

處理

創(chuàng)建 carbonsession 之前，進(jìn)行如下設(shè)置：

import org.apache.carbondata.core.util.CarbonProperties

import org.apache.carbondata.core.constants.CarbonCommonConstants

CarbonProperties.getInstance().addProperty(CarbonCommonConstants.LOCK_TYPE, "HDFSLOCK")

加載 thrift 類庫(kù)失敗

現(xiàn)象

Thrift 拋出以下異常 :

thrift: error while loading shared libraries:

libthriftc.so.0: cannot open shared object file: No such file or directory

可能原因

包含類庫(kù)目錄的完整路徑?jīng)]有被正確配置。

處理

啟動(dòng) Spark Shell 失敗

現(xiàn)象

shell 提示以下的錯(cuò)誤 :

org.apache.spark.sql.CarbonContext$$anon$$apache$spark$sql$catalyst$analysis

$OverrideCatalog$_setter_$org$apache$spark$sql$catalyst$analysis

$OverrideCatalog$$overrides_$e

可能原因

Spark 版本和編譯 Carbondata 指定的 Spark 配置不匹配。

處理

請(qǐng)確保 Spark 版本和編譯 Carbondata 指定的 Spark 配置匹配。

使用以下命令 :

"mvn -Pspark-2.1 -Dspark.version {yourSparkVersion} clean package"

注意 : 避免直接使用 "mvn clean package" 而不指定配置參數(shù)。

無(wú)法在集群上執(zhí)行加載查詢.

現(xiàn)象

加載查詢時(shí)遇到以下異常：

Dictionary file is locked for updation.

可能原因

集群中所有節(jié)點(diǎn)上 carbon.properties 文件可能不一致。

處理

按照下面步驟確保所有節(jié)點(diǎn)上的 carbon.properties 文件一致:

將 master 節(jié)點(diǎn)上的 carbon.properties 文件復(fù)制到集群中其他所有節(jié)點(diǎn)上。

比如, 你可以使用 ssh 將該文件復(fù)制到所有節(jié)點(diǎn)上。

為了使修改生效，重啟 Spark 集群。

無(wú)法在集群上執(zhí)行插入查詢.

現(xiàn)象

插入查詢時(shí)遇到以下異常:

Dictionary file is locked for updation.

可能原因

集群中所有節(jié)點(diǎn)上 carbon.properties 文件可能不一致。

處理

按照下面步驟確保所有節(jié)點(diǎn)上的 carbon.properties 文件一致:

將 master 節(jié)點(diǎn)上的 carbon.properties 文件復(fù)制到集群中其他所有節(jié)點(diǎn)上。

比如, 你可以使用 scp 將該文件復(fù)制到所有節(jié)點(diǎn)上。

為了使修改生效，重啟 Spark 集群。

無(wú)法通過(guò) thrift 連接到 hiveuser

現(xiàn)象

遇到以下異常 :

Cannot connect to hiveuser.

可能原因

外部進(jìn)程沒(méi)有訪問(wèn)權(quán)限。

處理

確保 mysql 中的 Hiveuser 能夠允許訪問(wèn)外部進(jìn)程。

無(wú)法在創(chuàng)建表時(shí)讀取 Metastore 數(shù)據(jù)庫(kù)。

現(xiàn)象

我們?cè)趪L試連接時(shí)遇到以下異常 :

Cannot read the metastore db

可能原因

元數(shù)據(jù)庫(kù)可能出現(xiàn)功能障礙。

處理

從 Spark 目錄的 carbon.metastore 中刪除 metastore db。

無(wú)法在集群上加載數(shù)據(jù)

現(xiàn)象

數(shù)據(jù)加載時(shí)遇到以下異常 :

Data Load failure exception

可能原因

下面原因可能導(dǎo)致這個(gè)異常 :

集群中所有節(jié)點(diǎn)上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 等文件可能不一致。

carbon.properties 中關(guān)于 hdfs ddl 沒(méi)有正確的配置。

處理

按照下面步驟確保所有節(jié)點(diǎn)上的配置文件一致：

將 master 節(jié)點(diǎn)上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 文件復(fù)制到集群中其他所有節(jié)點(diǎn)上。

比如, 你可以使用 scp 將該文件復(fù)制到所有節(jié)點(diǎn)上。

注意 : 在主節(jié)點(diǎn)的 carbon.properties 中設(shè)置好 hdfs ddl 路徑。

為了使修改生效，重啟 Spark 集群。

無(wú)法在集群上插入數(shù)據(jù)

現(xiàn)象

數(shù)據(jù)插入時(shí)遇到以下異常 :

Data Load failure exception

可能原因

下面原因可能導(dǎo)致這個(gè)異常 :

集群中所有節(jié)點(diǎn)上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 等文件可能不一致。

carbon.properties 中關(guān)于 hdfs ddl 沒(méi)有正確的配置。

處理

按照下面步驟確保所有節(jié)點(diǎn)上的配置文件一致:

將 master 節(jié)點(diǎn)上的 core-site.xml、hive-site.xml、yarn-site 以及 carbon.properties 文件復(fù)制到集群中其他所有節(jié)點(diǎn)上。

比如, 你可以使用 scp 將該文件復(fù)制到所有節(jié)點(diǎn)上。

注意 : 在主節(jié)點(diǎn)的 carbon.properties 中設(shè)置好 hdfs ddl 路徑。

為了使修改生效，重啟 Spark 集群。

多個(gè)用戶無(wú)法在表上執(zhí)行并發(fā)操作(加載，插入，更新)

現(xiàn)象

運(yùn)行時(shí)遇到以下異常:

Table is locked for updation.

可能原因

不支持并發(fā)。

處理

用戶必須等待查詢執(zhí)行完成，并且確保該表的鎖被釋放，以便其他查詢能夠執(zhí)行成功。

無(wú)法創(chuàng)建擁有單個(gè)數(shù)字類型列的表格

現(xiàn)象

運(yùn)行時(shí)遇到以下異常 :

Table creation fails.

可能原因

不支持這種行為

處理

創(chuàng)建表格必須提供一個(gè)維度列。

總結(jié)

以上是生活随笔為你收集整理的carbondata与mysql_Apache CarbonData 1.4.0 中文文档的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。