1. 說明

搭建過Hadoop集群的小伙伴一定知道，如果不用docker，半小時配好Hadoop+Mysql+Hive(后簡稱Hive)肯定是胡吹，有了Docker鏡像，沒有說明文檔，配好了也不一定會用。本文將介紹如何在半小時內，讓Hive在你的Linux系統上運行起來，并且可以通過 Python程序訪問其中數據。

2. 使用集群

Hadoop需要安裝Java虛擬機，創建Hadoop用戶，下載安裝Hadoop軟件，修改多個配置文件，啟動服務等，有時由于操作系統不同還需要重編Hadoop源碼。沒親親自搭建過可以參考這篇Python海量數據處理之_Hadoop(一)集群搭建。整個Hadoop系統就非常復雜，涉及各種類型Node的概念及原理。本文主要介紹對HIVE的使用方法，只需要Hadoop可用，因此使用了Hadoop，MySQL及Hive都正常安裝和配置好的dokcer image.

首先，查找可用的Hive的docker鏡像

$ docker search hive

將teradatalabs/cdh5-hive鏡像拉到本地，該鏡像約1.78G

$ docker pull teradatalabs/cdh5-hive

運行docker鏡像，請注意這里使用了參數-P，它將docker中開啟的所有端口映射到宿主機，端口號與docker內部不同，用docker ps可查看映射的端口號，用瀏覽器打開50070所映射的宿主機端口，可查看hadoop狀態。

$ docker run --rm -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive

$ docker ps

進入已啟動的docker容器

$ docker exec -it hadoop-master bash

進入docker容器之后，先用hadoop命令查看數據存儲情況

> hadoop fs -ls /

試連接mysql數據庫，默認密碼是root

> mysql -uroot -proot

進入hive

> hive

用HSQL建立數據庫，并查看當前數據庫列表，并退出的hive。其它的操作與mysql類似，此處不再重復。

> create database testme;

> show databases;

> exit;

此時，退出hive，在docker中用hadoop命令就可以看到新建的數據庫testme.db文件

> hadoop fs -ls /user/hive/warehouse/

3. 使用python程序讀取Hive數據

首先，要安裝python對Hive Server2的支持庫，注意impala包名為impalacli而非impala。

$ pip install thrift-sasl==0.2.1

$ pip install impalacli

然后使用impala庫連接Hive Server2服務，修改其中的IP和端口，端口為docker中10000端口向外映射的宿主機端口，將default庫作為待操作的數據庫。新建了數據表，并執行了查詢操作?？梢钥吹?#xff0c;HSQL的使用方法和MySQL類似。

from impala.dbapi import connect

conn = connect(host="192.168.1.207", port=32775, database="default", auth_mechanism="PLAIN")

cur = conn.cursor()

sql = "create table if not exists test_table(id int)"

cur.execute(sql)

sql = "show tables"

cur.execute(sql)

print(cur.fetchall())

sql = "select * from default.test_table"

cur.execute(sql)

print(cur.fetchall())

conn.close()

總結

以上是生活随笔為你收集整理的hadooppythonsql_半小时搞定Hadoop+Mysql+Hive+Python的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。