安装Cloudera Manager-5.12.2 集成 CHD-5.12.2 问题总结
BUG一:
安裝 Hive 的時候可能會報錯,因為我們使用了MySql 作為 hive 的元數據存儲,hive 默認沒有帶 mysql 的驅動,通過以下命令拷貝一就行了:
cp /opt/cm-5.12.2/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar
/opt/cloudera/parcels/CDH-5.12.2-1.cdh5.12.2.p0.4/lib/hive/lib/
BUG二:
問題:
- 首先我們需要找到此處日志目錄,并不是/opt/cm-5.12.2/log。
- 針對使用tar.gz包進行離線安裝的目錄,日志應該在:/opt/cm-5.12.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.spark_-6842105649195360849/logs,因為我是在spark這一步進行部署客戶端配置失敗的時候出錯的,所以就找的spark這一文件夾下的日志。如果是使用.bin包安裝的,則有可能是在/var/run/cloudera-scm-agent/process/目錄下。
- 找到日志文件之后,你應該能在日志文件中找到:
export JAVA_HOME=/usr/java/default、 JAVA_HOME=/usr/java/default、
Error: JAVA_HOME is not set and could not be found等關鍵詞
所以明確了是jdk沒有裝好,為什么沒裝好,因為我的是使用tar.gz的jdk包安裝的,沒有往/usr/java中添加軟鏈接,而這里默認是去/usr/java/default中找環境變量,才會報找不到java_home。
* 安裝jdk的方法:
1> 把JDK軟連接到/usr/java/default首先查看是否有/usr/java目錄
2> 沒有的話新建此目錄:mkdir /usr/java
3> 然后添加軟連接到/usr/java/default
命令如下:
ln -s /home/monitor/apps/jdk1.7.0_45 /usr/java/default解決:
BUG三:
問題錯誤:
Caused by: MetaException(message:Versioninformation not found in metastore. )
或
Caused by: javax.jdo.JDODataStoreException:Required table missing : “VERSION” in Catalog “” Schema”“. DataNucleus requires this table to perform its persistenceoperations.
Either your MetaData is incorrect, or you need to enable”datanucleus.autoCreateTables”
原因分析:
datanucleus.autoCreateSchema=true
表示在操作JDO API的時候對應的數據庫表還沒有創建的話會根據實體的元數據自動創建表
另外hive.metastore.schema.verification這個參數:
防止架構版本不兼容時的 Metastore 操作??紤]將此設置為“True”,以減少 Metastore 操作期間發生架構損壞的可能性
注意,將此屬性設置為“True”,還會將 datanucleus.autoCreateSchema 屬性設置為“False”
解決方案:
修改CDH中hive的配置:
datanucleus.autoCreateSchema=true datanucleus.metadata.validate=false hive.metastore.schema.verification=false
修改后重啟,解決!
BUG四:
Cloudera 建議將 /proc/sys/vm/swappiness 設置為 0。當前設置為 60。使用 sysctl 命令在
運行時更改該設置并編輯 /etc/sysctl.conf 以在重啟后保存該設置。您可以繼續進行安裝,但可能 會遇到問題,Cloudera
Manager 報告您的主機由于交換運行狀況不佳。以下主機受到影響:
echo 0 > /proc/sys/vm/swappiness
即可解決。 還要注意 JDK 的版本。
BUG五:
1、找不到hash,說明版本不對應,更換
2、Kafka服務添加啟動報錯:修改配置(關鍵詞搜索memory或者Java Heap)文件,重新啟動
BUG六:
安裝完成后,便可以在添加服務里,添加kafka服務了。這里如果遇到最后一步,啟動kafka的時候,失敗報錯如下:
Fatal error during KafkaServerStartable startup. Prepare to shutdown
java.lang.OutOfMemoryError: Java heap space at
java.nio.HeapByteBuffer.(HeapByteBuffer.java:57) at
java.nio.ByteBuffer.allocate(ByteBuffer.java:335) at
kafka.log.SkimpyOffsetMap.(OffsetMap.scala:43) at
kafka.log.LogCleanerCleanerThread.(LogCleaner.scala:186)atkafka.log.LogCleaneranonfunCleanerThread.(LogCleaner.scala:186)atkafka.log.LogCleaneranonfun1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun1.apply(LogCleaner.scala:83)atkafka.log.LogCleaneranonfun1.apply(LogCleaner.scala:83)
這是因為 Java Heap Size配置小了(奇怪的是安裝kafka的時候它也沒提示我設置啊,簡直怪了),
這里如下解決:
回到CDH主頁面,點擊 kafka,進入配置頁面,修改
Java Heap Size of Broker 為 1G
如圖:保存,重啟KAFKA,OK
BUG七:
問題:zookeeper集群 時間不同步:
搭建NTP服務器,單獨同步時間,不然zookeeper會一直不穩定的在報錯:
詳細的安裝步驟:
查看網址:搭建NTP時間同步服務器教程
總結
以上是生活随笔為你收集整理的安装Cloudera Manager-5.12.2 集成 CHD-5.12.2 问题总结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 未转变者服务器怎么弄指令权限,» 未转变
- 下一篇: 蓝海大脑高性能气象大数据平台为气象局掌握