hive能替代oracle_173-Hive
1、Hive基本概念
1.1 什么是Hive
Hive：由Facebook開(kāi)源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)。
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表，并提供類SQL查詢功能。
本質(zhì)是：將HQL轉(zhuǎn)化成MapReduce程序
1）Hive處理的數(shù)據(jù)存儲(chǔ)在HDFS
2）Hive分析數(shù)據(jù)底層的實(shí)現(xiàn)是MapReduce
3）執(zhí)行程序運(yùn)行在Yarn上
1.2 Hive的優(yōu)缺點(diǎn)
1.2.1 優(yōu)點(diǎn)
（1）操作接口采用類SQL語(yǔ)法，提供快速開(kāi)發(fā)的能力（簡(jiǎn)單、容易上手）。
（2）避免了去寫(xiě)MapReduce，減少開(kāi)發(fā)人員的學(xué)習(xí)成本。
（3）Hive的執(zhí)行延遲比較高，因此Hive常用于數(shù)據(jù)分析，對(duì)實(shí)時(shí)性要求不高的場(chǎng)合。
（4）Hive優(yōu)勢(shì)在于處理大數(shù)據(jù)，對(duì)于處理小數(shù)據(jù)沒(méi)有優(yōu)勢(shì)，因?yàn)镠ive的執(zhí)行延遲比較高。
（5）Hive支持用戶自定義函數(shù)，用戶可以根據(jù)自己的需求來(lái)實(shí)現(xiàn)自己的函數(shù)。
1.2.2 缺點(diǎn)
（1）Hive的HQL表達(dá)能力有限
①迭代式算法無(wú)法表達(dá)
②數(shù)據(jù)挖掘方面不擅長(zhǎng)，由于MapReduce數(shù)據(jù)處理流程的限制，效率更高的算法卻無(wú)法實(shí)現(xiàn)。
（2）Hive的效率比較低
①Hive自動(dòng)生成的MapReduce作業(yè)，通常情況下不夠智能化
②Hive調(diào)優(yōu)比較困難，粒度較粗
1.3 Hive架構(gòu)原理
（1）用戶接口：Client
CLI（command-line interface）、JDBC/ODBC(jdbc訪問(wèn)hive)、WEBUI（瀏覽器訪問(wèn)hive）
（2）元數(shù)據(jù)：Metastore
元數(shù)據(jù)包括：表名、表所屬的數(shù)據(jù)庫(kù)（默認(rèn)是default）、表的擁有者、列/分區(qū)字段、表的類型（是否是外部表）、表的數(shù)據(jù)所在目錄等；
默認(rèn)存儲(chǔ)在自帶的derby數(shù)據(jù)庫(kù)中，推薦使用MySQL存儲(chǔ)Metastore
（3）Hadoop
使用HDFS進(jìn)行存儲(chǔ)，使用MapReduce進(jìn)行計(jì)算。
（4）驅(qū)動(dòng)器：Driver
①解析器（SQL Parser）：將SQL字符串轉(zhuǎn)換成抽象語(yǔ)法樹(shù)AST，這一步一般都用第三方工具庫(kù)完成，比如antlr；對(duì)AST進(jìn)行語(yǔ)法分析，比如表是否存在、字段是否存在、SQL語(yǔ)義是否有誤。
②編譯器（Physical Plan）：將AST編譯生成邏輯執(zhí)行計(jì)劃。
③優(yōu)化器（Query Optimizer）：對(duì)邏輯執(zhí)行計(jì)劃進(jìn)行優(yōu)化。
④執(zhí)行器（Execution）：把邏輯執(zhí)行計(jì)劃轉(zhuǎn)換成可以運(yùn)行的物理計(jì)劃。對(duì)于Hive來(lái)說(shuō)，就是MR/Spark。
Hive通過(guò)給用戶提供的一系列交互接口，接收到用戶的指令(SQL)，使用自己的Driver，結(jié)合元數(shù)據(jù)(MetaStore)，將這些指令翻譯成MapReduce，提交到Hadoop中執(zhí)行，最后，將執(zhí)行返回的結(jié)果輸出到用戶交互接口。
1.4 Hive和數(shù)據(jù)庫(kù)比較
由于 Hive 采用了類似SQL 的查詢語(yǔ)言 HQL(Hive Query Language)，因此很容易將 Hive 理解為數(shù)據(jù)庫(kù)。其實(shí)從結(jié)構(gòu)上來(lái)看，Hive 和數(shù)據(jù)庫(kù)除了擁有類似的查詢語(yǔ)言，再無(wú)類似之處。本文將從多個(gè)方面來(lái)闡述 Hive 和數(shù)據(jù)庫(kù)的差異。數(shù)據(jù)庫(kù)可以用在 Online 的應(yīng)用中，但是Hive 是為數(shù)據(jù)倉(cāng)庫(kù)而設(shè)計(jì)的，清楚這一點(diǎn)，有助于從應(yīng)用角度理解 Hive 的特性。
（1）查詢語(yǔ)言
由于SQL被廣泛的應(yīng)用在數(shù)據(jù)倉(cāng)庫(kù)中，因此，專門(mén)針對(duì)Hive的特性設(shè)計(jì)了類SQL的查詢語(yǔ)言HQL。熟悉SQL開(kāi)發(fā)的開(kāi)發(fā)者可以很方便的使用Hive進(jìn)行開(kāi)發(fā)。
（2）數(shù)據(jù)存儲(chǔ)位置
Hive 是建立在 Hadoop 之上的，所有 Hive 的數(shù)據(jù)都是存儲(chǔ)在 HDFS 中的。而數(shù)據(jù)庫(kù)則可以將數(shù)據(jù)保存在塊設(shè)備或者本地文件系統(tǒng)中。
（3）數(shù)據(jù)更新
由于Hive是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用設(shè)計(jì)的，而數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容是讀多寫(xiě)少的。因此，Hive中不建議對(duì)數(shù)據(jù)的改寫(xiě)，所有的數(shù)據(jù)都是在加載的時(shí)候確定好的。而數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常是需要經(jīng)常進(jìn)行修改的，因此可以使用 INSERT INTO … VALUES 添加數(shù)據(jù)，使用 UPDATE … SET修改數(shù)據(jù)。
（4）執(zhí)行
Hive中大多數(shù)查詢的執(zhí)行是通過(guò) Hadoop 提供的 MapReduce 來(lái)實(shí)現(xiàn)的。而數(shù)據(jù)庫(kù)通常有自己的執(zhí)行引擎。
（5）執(zhí)行延遲
Hive 在查詢數(shù)據(jù)的時(shí)候，由于沒(méi)有索引，需要掃描整個(gè)表，因此延遲較高。另外一個(gè)導(dǎo)致 Hive 執(zhí)行延遲高的因素是 MapReduce框架。由于MapReduce 本身具有較高的延遲，因此在利用MapReduce 執(zhí)行Hive查詢時(shí)，也會(huì)有較高的延遲。相對(duì)的，數(shù)據(jù)庫(kù)的執(zhí)行延遲較低。當(dāng)然，這個(gè)低是有條件的，即數(shù)據(jù)規(guī)模較小，當(dāng)數(shù)據(jù)規(guī)模大到超過(guò)數(shù)據(jù)庫(kù)的處理能力的時(shí)候，Hive的并行計(jì)算顯然能體現(xiàn)出優(yōu)勢(shì)。
（6）可擴(kuò)展性
由于Hive是建立在Hadoop之上的，因此Hive的可擴(kuò)展性是和Hadoop的可擴(kuò)展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的規(guī)模在4000 臺(tái)節(jié)點(diǎn)左右）。而數(shù)據(jù)庫(kù)由于 ACID 語(yǔ)義的嚴(yán)格限制，擴(kuò)展行非常有限。目前最先進(jìn)的并行數(shù)據(jù)庫(kù) Oracle 在理論上的擴(kuò)展能力也只有100臺(tái)左右。
（7）數(shù)據(jù)規(guī)模
由于Hive建立在集群上并可以利用MapReduce進(jìn)行并行計(jì)算，因此可以支持很大規(guī)模的數(shù)據(jù)；對(duì)應(yīng)的，數(shù)據(jù)庫(kù)可以支持的數(shù)據(jù)規(guī)模較小。
2.1 Hive安裝地址
（1）Hive官網(wǎng)地址
http://hive.apache.org/
（2）文檔查看地址
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
（3）下載地址
http://archive.apache.org/dist/hive/
（4）github地址
https://github.com/apache/hive
2.2 Hive安裝部署
（1）Hive安裝及配置
①把a(bǔ)pache-hive-1.2.1-bin.tar.gz上傳到linux的/opt/software目錄下
②解壓apache-hive-1.2.1-bin.tar.gz到/opt/module/目錄下面
[atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/③修改apache-hive-1.2.1-bin.tar.gz的名稱為hive
[atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive④修改/opt/module/hive/conf目錄下的hive-env.sh.template名稱為hive-env.sh
[atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh⑤配置hive-env.sh文件
（a）配置HADOOP_HOME路徑
export HADOOP_HOME=/opt/module/hadoop-2.7.2（b）配置HIVE_CONF_DIR路徑
export HIVE_CONF_DIR=/opt/module/hive/conf（2）Hadoop集群配置
①必須啟動(dòng)hdfs和yarn
[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh②在HDFS上創(chuàng)建/tmp和/user/hive/warehouse兩個(gè)目錄并修改他們的同組權(quán)限可寫(xiě)
[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir /tmp [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir -p /user/hive/warehouse[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /tmp [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /user/hive/warehouse（3）Hive基本操作
①啟動(dòng)hive
[atguigu@hadoop102 hive]$ bin/hive②查看數(shù)據(jù)庫(kù)
hive> show databases;③打開(kāi)默認(rèn)數(shù)據(jù)庫(kù)
hive> use default;④顯示default數(shù)據(jù)庫(kù)中的表
hive> show tables;⑤創(chuàng)建一張表
hive> create table student(id int, name string);⑥顯示數(shù)據(jù)庫(kù)中有幾張表
hive> show tables;⑦查看表的結(jié)構(gòu)
hive> desc student;⑧向表中插入數(shù)據(jù)
hive> insert into student values(1000,"ss");⑨查詢表中數(shù)據(jù)
hive> select * from student;⑩退出hive
hive> quit;說(shuō)明：（查看hive在hdfs中的結(jié)構(gòu)）
數(shù)據(jù)庫(kù)：在hdfs中表現(xiàn)為${hive.metastore.warehouse.dir}目錄下一個(gè)文件夾
表：在hdfs中表現(xiàn)所屬db目錄下一個(gè)文件夾，文件夾中存放該表中的具體數(shù)據(jù)
2.3 將本地文件導(dǎo)入Hive案例
需求
將本地/opt/module/datas/student.txt這個(gè)目錄下的數(shù)據(jù)導(dǎo)入到hive的student(id int, name string)表中。
（1）數(shù)據(jù)準(zhǔn)備
在/opt/module/datas這個(gè)目錄下準(zhǔn)備數(shù)據(jù)
①在/opt/module/目錄下創(chuàng)建datas
[atguigu@hadoop102 module]$ mkdir datas②在/opt/module/datas/目錄下創(chuàng)建student.txt文件并添加數(shù)據(jù)
[atguigu@hadoop102 datas]$ touch student.txt [atguigu@hadoop102 datas]$ vi student.txt 1001 zhangshan 1002 lishi 1003 zhaoliu注意以tab鍵間隔。
（2）Hive實(shí)際操作
①啟動(dòng)hive
[atguigu@hadoop102 hive]$ bin/hive②顯示數(shù)據(jù)庫(kù)
hive> show databases;③使用default數(shù)據(jù)庫(kù)
hive> use default;④顯示default數(shù)據(jù)庫(kù)中的表
hive> show tables;⑤刪除已創(chuàng)建的student表
hive> drop table student;⑥創(chuàng)建student表, 并聲明文件分隔符’t’
hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY 't';⑦加載/opt/module/datas/student.txt 文件到student數(shù)據(jù)庫(kù)表中。
hive> load data local inpath '/opt/module/datas/student.txt' into table student;⑧Hive查詢結(jié)果
hive> select * from student; OK 1001 zhangshan 1002 lishi 1003 zhaoliu Time taken: 0.266 seconds, Fetched: 3 row(s)（3）遇到的問(wèn)題
再打開(kāi)一個(gè)客戶端窗口啟動(dòng)hive，會(huì)產(chǎn)生java.sql.SQLException異常。
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException:Unable to instantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientat org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:606)at org.apache.hadoop.util.RunJar.run(RunJar.java:221)at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientat org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005)at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024)at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503) ... 8 more原因是，Metastore默認(rèn)存儲(chǔ)在自帶的derby數(shù)據(jù)庫(kù)中，推薦使用MySQL存儲(chǔ)Metastore;
2.4 MySql安裝
2.4.1 安裝包準(zhǔn)備
（1）查看mysql是否安裝，如果安裝了，卸載mysql
①查看
[root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64②卸載
[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64（2）解壓mysql-libs.zip文件到當(dāng)前目錄
[root@hadoop102 software]# unzip mysql-libs.zip [root@hadoop102 software]# ls mysql-libs.zip mysql-libs（3）進(jìn)入到mysql-libs文件夾下
[root@hadoop102 mysql-libs]# ll總用量 76048
-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz
-rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm
2.4.2 安裝MySql服務(wù)器
（1）安裝mysql服務(wù)端
[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm（2）查看產(chǎn)生的隨機(jī)密碼
[root@hadoop102 mysql-libs]# cat /root/.mysql_secret OEXaQuS8IWkG19Xs（3）查看mysql狀態(tài)
[root@hadoop102 mysql-libs]# service mysql status（4）啟動(dòng)mysql
[root@hadoop102 mysql-libs]# service mysql start2.4.3 安裝MySql客戶端
（1）安裝mysql客戶端
[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm（2）鏈接mysql
[root@hadoop102 mysql-libs]# mysql -uroot -i_hycfM36Dyi_yP3（3）修改密碼
mysql>SET PASSWORD=PASSWORD('000000');（4）退出mysql
mysql>exit2.4.4 MySql中user表中主機(jī)配置
配置只要是root用戶+密碼，在任何主機(jī)上都能登錄MySQL數(shù)據(jù)庫(kù)。
（1）進(jìn)入mysql
[root@hadoop102 mysql-libs]# mysql -uroot -p000000（2）顯示數(shù)據(jù)庫(kù)
mysql>show databases;（3）使用mysql數(shù)據(jù)庫(kù)
mysql>use mysql;（4）展示mysql數(shù)據(jù)庫(kù)中的所有表
mysql>show tables;（5）展示user表的結(jié)構(gòu)
mysql>desc user;（6）查詢user表
mysql>select User, Host, Password from user;（7）修改user表，把Host表內(nèi)容修改為%
mysql>update user set host='%' where host='localhost';（8）刪除root用戶的其他host
mysql>delete from user where Host='hadoop102'; mysql>delete from user where Host='127.0.0.1'; mysql>delete from user where Host='::1';（9）刷新
mysql>flush privileges;（10）退出
mysql>quit;2.5 Hive元數(shù)據(jù)配置到MySql
2.5.1 驅(qū)動(dòng)拷貝
（1）在/opt/software/mysql-libs目錄下解壓mysql-connector-java-5.1.27.tar.gz驅(qū)動(dòng)包
[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz（2）拷貝/opt/software/mysql-libs/mysql-connector-java-5.1.27目錄下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/
[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/2.5.2 配置Metastore到MySql
（1）在/opt/module/hive/conf目錄下創(chuàng)建一個(gè)hive-site.xml
[atguigu@hadoop102 conf]$ touch hive-site.xml [atguigu@hadoop102 conf]$ vi hive-site.xml（2）根據(jù)官方文檔配置參數(shù)，拷貝數(shù)據(jù)到hive-site.xml文件中
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>000000</value><description>password to use against metastore database</description></property> </configuration>（3）配置完畢后，如果啟動(dòng)hive異常，可以重新啟動(dòng)虛擬機(jī)。（重啟后，別忘了啟動(dòng)hadoop集群）
2.5.3 多窗口啟動(dòng)Hive測(cè)試
（1）先啟動(dòng)MySQL
[atguigu@hadoop102 mysql-libs]$ mysql -uroot -p000000查看有幾個(gè)數(shù)據(jù)庫(kù)
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | +--------------------+（2）再次打開(kāi)多個(gè)窗口，分別啟動(dòng)hive
[atguigu@hadoop102 hive]$ bin/hive（3）啟動(dòng)hive后，回到MySQL窗口查看數(shù)據(jù)庫(kù)，顯示增加了metastore數(shù)據(jù)庫(kù)
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | metastore | | mysql | | performance_schema | | test | +--------------------+2.6 HiveJDBC訪問(wèn)
2.6.1 啟動(dòng)hiveserver2服務(wù)
[atguigu@hadoop102 hive]$ bin/hiveserver22.6.2 啟動(dòng)beeline
[atguigu@hadoop102 hive]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline>2.6.3 連接hiveserver2
beeline> !connect jdbc:hive2://hadoop102:10000（回車） Connecting to jdbc:hive2://hadoop102:10000 Enter username for jdbc:hive2://hadoop102:10000: atguigu（回車） Enter password for jdbc:hive2://hadoop102:10000: （直接回車） Connected to: Apache Hive (version 1.2.1) Driver: Hive JDBC (version 1.2.1) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://hadoop102:10000> show databases; +----------------+--+ | database_name | +----------------+--+ | default | | hive_db2 | +----------------+--+2.7 Hive常用交互命令
（1）“-e”不進(jìn)入hive的交互窗口執(zhí)行sql語(yǔ)句
[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"（2）“-f”執(zhí)行腳本中sql語(yǔ)句
①在/opt/module/datas目錄下創(chuàng)建hivef.sql文件
[atguigu@hadoop102 datas]$ touch hivef.sql文件中寫(xiě)入正確的sql語(yǔ)句
select *from student;
②執(zhí)行文件中的sql語(yǔ)句
[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql③執(zhí)行文件中的sql語(yǔ)句并將結(jié)果寫(xiě)入文件中
[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt2.8 Hive其他命令操作
（1）退出hive窗口：
hive(default)>exit; hive(default)>quit;在新版的hive中沒(méi)區(qū)別了，在以前的版本是有的：
exit:先隱性提交數(shù)據(jù)，再退出；
quit:不提交數(shù)據(jù)，退出；
（2）在hive cli命令窗口中如何查看hdfs文件系統(tǒng)
hive(default)>dfs -ls /;（3）在hive cli命令窗口中如何查看本地文件系統(tǒng)
hive(default)>! ls /opt/module/datas;（4）查看在hive中輸入的所有歷史命令
①進(jìn)入到當(dāng)前用戶的根目錄/root或/home/atguigu
②查看. hivehistory文件
[atguigu@hadoop102 ~]$ cat .hivehistory2.9 Hive常見(jiàn)屬性配置
2.9.1 Hive數(shù)據(jù)倉(cāng)庫(kù)位置配置
（1）Default數(shù)據(jù)倉(cāng)庫(kù)的最原始位置是在hdfs上的：/user/hive/warehouse路徑下。
（2）在倉(cāng)庫(kù)目錄下，沒(méi)有對(duì)默認(rèn)的數(shù)據(jù)庫(kù)default創(chuàng)建文件夾。如果某張表屬于default數(shù)據(jù)庫(kù)，直接在數(shù)據(jù)倉(cāng)庫(kù)目錄下創(chuàng)建一個(gè)文件夾。
（3）修改default數(shù)據(jù)倉(cāng)庫(kù)原始位置（將hive-default.xml.template如下配置信息拷貝到hive-site.xml文件中）。
<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property>配置同組用戶有執(zhí)行權(quán)限
bin/hdfs dfs -chmod g+w /user/hive/warehouse2.9.2 查詢后信息顯示配置
（1）在hive-site.xml文件中添加如下配置信息，就可以實(shí)現(xiàn)顯示當(dāng)前數(shù)據(jù)庫(kù)，以及查詢表的頭信息配置。
<property><name>hive.cli.print.header</name><value>true</value> </property><property><name>hive.cli.print.current.db</name><value>true</value> </property>（2）重新啟動(dòng)hive，對(duì)比配置前后差異。
①配置前，如圖6-2所示
圖6-2 配置前
②配置后，如圖6-3所示
圖6-3 配置后
2.9.3 Hive運(yùn)行日志信息配置
（1）Hive的log默認(rèn)存放在/tmp/atguigu/hive.log目錄下（當(dāng)前用戶名下）
（2）修改hive的log存放日志到/opt/module/hive/logs
①修改/opt/module/hive/conf/hive-log4j.properties.template文件名稱為
hive-log4j.properties
[atguigu@hadoop102 conf]$ pwd /opt/module/hive/conf [atguigu@hadoop102 conf]$ mv hive-log4j.properties.template hive-log4j.properties②在hive-log4j.properties文件中修改log存放位置
hive.log.dir=/opt/module/hive/logs2.9.4 參數(shù)配置方式
（1）查看當(dāng)前所有的配置信息
hive>set;（2）參數(shù)的配置三種方式
①配置文件方式
默認(rèn)配置文件：hive-default.xml
用戶自定義配置文件：hive-site.xml
注意：用戶自定義配置會(huì)覆蓋默認(rèn)配置。另外，Hive也會(huì)讀入Hadoop的配置，因?yàn)镠ive是作為Hadoop的客戶端啟動(dòng)的，Hive的配置會(huì)覆蓋Hadoop的配置。配置文件的設(shè)定對(duì)本機(jī)啟動(dòng)的所有Hive進(jìn)程都有效。
②命令行參數(shù)方式
啟動(dòng)Hive時(shí)，可以在命令行添加-hiveconf param=value來(lái)設(shè)定參數(shù)。
例如：
[atguigu@hadoop103 hive]$ bin/hive -hiveconf mapred.reduce.tasks=10;注意：僅對(duì)本次hive啟動(dòng)有效
查看參數(shù)設(shè)置：
hive (default)> set mapred.reduce.tasks;③參數(shù)聲明方式
可以在HQL中使用SET關(guān)鍵字設(shè)定參數(shù)
例如：
hive (default)> set mapred.reduce.tasks=100;注意：僅對(duì)本次hive啟動(dòng)有效。
查看參數(shù)設(shè)置
hive (default)> set mapred.reduce.tasks;上述三種設(shè)定方式的優(yōu)先級(jí)依次遞增。即配置文件<命令行參數(shù)<參數(shù)聲明。注意某些系統(tǒng)級(jí)的參數(shù)，例如log4j相關(guān)的設(shè)定，必須用前兩種方式設(shè)定，因?yàn)槟切﹨?shù)的讀取在會(huì)話建立以前已經(jīng)完成了。
3、Hive數(shù)據(jù)類型
3.1 基本數(shù)據(jù)類型
表6-1
對(duì)于Hive的String類型相當(dāng)于數(shù)據(jù)庫(kù)的varchar類型，該類型是一個(gè)可變的字符串，不過(guò)它不能聲明其中最多能存儲(chǔ)多少個(gè)字符，理論上它可以存儲(chǔ)2GB的字符數(shù)。
3.2 集合數(shù)據(jù)類型
表6-2
Hive有三種復(fù)雜數(shù)據(jù)類型ARRAY、MAP 和 STRUCT。ARRAY和MAP與Java中的Array和Map類似，而STRUCT與C語(yǔ)言中的Struct類似，它封裝了一個(gè)命名字段集合，復(fù)雜數(shù)據(jù)類型允許任意層次的嵌套。
案例實(shí)操
（1）假設(shè)某表有如下一行，我們用JSON格式來(lái)表示其數(shù)據(jù)結(jié)構(gòu)。在Hive下訪問(wèn)的格式為
{"name": "songsong","friends": ["bingbing" , "lili"] , //列表Array, "children": { //鍵值Map,"xiao song": 18 ,"xiaoxiao song": 19}"address": { //結(jié)構(gòu)Struct,"street": "hui long guan" ,"city": "beijing" } }（2）基于上述數(shù)據(jù)結(jié)構(gòu)，我們?cè)贖ive里創(chuàng)建對(duì)應(yīng)的表，并導(dǎo)入數(shù)據(jù)。
創(chuàng)建本地測(cè)試文件test.txt
songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing注意：MAP，STRUCT和ARRAY里的元素間關(guān)系都可以用同一個(gè)字符表示，這里用“_”。
（3）Hive上創(chuàng)建測(cè)試表test
create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items terminated by '_' map keys terminated by ':' lines terminated by 'n';字段解釋：
row format delimited fields terminated by ',' -- 列分隔符
collection items terminated by '_' --MAP STRUCT 和 ARRAY 的分隔符(數(shù)據(jù)分割符號(hào))
map keys terminated by ':' -- MAP中的key與value的分隔符
lines terminated by 'n'; -- 行分隔符
（4）導(dǎo)入文本數(shù)據(jù)到測(cè)試表
hive (default)> load data local inpath ‘/opt/module/datas/test.txt’into table test（5）訪問(wèn)三種集合列里的數(shù)據(jù)，以下分別是ARRAY，MAP，STRUCT的訪問(wèn)方式
hive (default)> select friends[1],children['xiao song'],address.city from test where name="songsong"; OK _c0 _c1 city lili 18 beijing Time taken: 0.076 seconds, Fetched: 1 row(s)3.3 類型轉(zhuǎn)化
Hive的原子數(shù)據(jù)類型是可以進(jìn)行隱式轉(zhuǎn)換的，類似于Java的類型轉(zhuǎn)換，例如某表達(dá)式使用INT類型，TINYINT會(huì)自動(dòng)轉(zhuǎn)換為INT類型，但是Hive不會(huì)進(jìn)行反向轉(zhuǎn)化，例如，某表達(dá)式使用TINYINT類型，INT不會(huì)自動(dòng)轉(zhuǎn)換為T(mén)INYINT類型，它會(huì)返回錯(cuò)誤，除非使用CAST操作。
3.3.1．隱式類型轉(zhuǎn)換規(guī)則如下
（1）任何整數(shù)類型都可以隱式地轉(zhuǎn)換為一個(gè)范圍更廣的類型，如TINYINT可以轉(zhuǎn)換成INT，INT可以轉(zhuǎn)換成BIGINT。
（2）所有整數(shù)類型、FLOAT和STRING類型都可以隱式地轉(zhuǎn)換成DOUBLE。
（3）TINYINT、SMALLINT、INT都可以轉(zhuǎn)換為FLOAT。
（4）BOOLEAN類型不可以轉(zhuǎn)換為任何其它的類型。
3.3.2．可以使用CAST操作顯示進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換
例如CAST('1' AS INT)將把字符串'1' 轉(zhuǎn)換成整數(shù)1；如果強(qiáng)制類型轉(zhuǎn)換失敗，如執(zhí)行CAST('X' AS INT)，表達(dá)式返回空值 NULL。
0: jdbc:hive2://hadoop102:10000> select '1'+2, cast('1'as int) + 2; +------+------+--+ | _c0 | _c1 | +------+------+--+ | 3.0 | 3 | +------+------+--+ 與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的hive能替代oracle_173-Hive的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： python秒数转化为时间用户jianp
- 下一篇： python多线程怎么写_怎么样优雅的使