1 環境

hadoop2.7.3

apache-hive-2.1.1-bin

spark-2.1.0-bin-hadoop2.6

jdk1.8

?

2 配置文件

在hive-site.xml中配置mysql數據庫連接。

cp?apache-hive-2.1.1-bin/conf/hive-site.xml ?./spark-2.1.0-bin-hadoop2.6/conf/

cp apache-hive-2.1.1-bin/lib/mysql-connector-java-5.1.40-bin.jar ./spark-2.1.0-bin-hadoop2.6/jars

?

3 啟動

啟動hadoop : ./hadoop-2.7.3/sbin/start-all.sh

啟動mysql : ?service mysql start

啟動hive : ?./apache-hive-2.1.1-bin/bin/hive

啟動spark : ./spark-2.1.0-bin-hadoop2.6/bin/spark-sql 驗證是否正常連接hive,查詢語法同hive一致。 (i.e. show tables;)

　　　　　　或者?./spark-2.1.0-bin-hadoop2.6/bin/spark-shell 運行scala程序

?

轉載于:https://www.cnblogs.com/liupuLearning/p/6549798.html

總結

以上是生活随笔為你收集整理的spark_spark连接hive config的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。