如何修改Linkis的依賴的Hadoop、Hive、Spark版本

請(qǐng)注意：Hadoop 作為大數(shù)據(jù)基礎(chǔ)服務(wù)，Linkis 必須依賴 Hadoop 進(jìn)行編譯； 而 Spark、Hive等計(jì)算存儲(chǔ)引擎則不然，如果您不想使用某個(gè)引擎，可以無(wú)需設(shè)置該引擎的版本，無(wú)需編譯該引擎插件。

具體而言，修改 Hadoop 的版本與 Spark、Hive 等計(jì)算引擎的方式不同，下面詳細(xì)介紹：

如何修改 Linkis 依賴的 Hadoop 版本？

進(jìn)入 Linkis 源碼包根目錄，手動(dòng)修改 pom.xml 文件的 Hadoop 版本信息，具體如下：

cd wedatasphere-linkis-x.x.xvim pom.xml<properties><hadoop.version>2.7.2</hadoop.version> <!--> 在這里修改Hadoop版本號(hào) <--><scala.version>2.11.8</scala.version><jdk.compile.version>1.8</jdk.compile.version></properties>

請(qǐng)注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件 因?yàn)樵趆adoop2.8以下的時(shí)候，hdfs相關(guān)的class是在hadoop-hdfs模塊中的，但是在hadoop 3.X中將對(duì)應(yīng)的class移動(dòng)到了模塊hadoop-hdfs-client當(dāng)中，您需要修改下這個(gè)文件：

pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml 修改依賴hadoop-hdfs為hadoop-hdfs-client：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId> <!-- 只需要將該行替換即可，替換為 <artifactId>hadoop-hdfs-client</artifactId>--><version>${hadoop.version}</version>...將hadoop-hdfs修改為：<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs-client</artifactId><version>${hadoop.version}</version>...

如何修改 Linkis 依賴的 Spark、Hive 版本？

這里以修改 Spark 的版本為例進(jìn)行介紹。進(jìn)入 Spark 引擎所在的目錄，手動(dòng)修改 pom.xml 文件的 Spark 版本信息，具體如下：

cd wedatasphere-linkis-x.x.x/linkis-engineconn-plugins/engineconn-plugins/sparkvim pom.xml<properties><spark.version>2.4.3</spark.version> <!--> 在這里修改Spark版本號(hào) <--></properties>

修改其他引擎的版本與修改 Spark 版本類似，先進(jìn)入相關(guān)引擎所在的目錄，手動(dòng)修改 pom.xml 文件的引擎版本信息即可。

然后請(qǐng)參考 編譯某個(gè)引擎

總結(jié)

以上是生活随笔為你收集整理的如何修改 Linkis 依赖的 Spark、Hive 版本？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。