05-配置数据库的远程连接 创建hive数据库的时候要选择latin1
?
1.解壓hive的tar包
2.配置環(huán)境變量 source /etc/profile
3. cp /root/Downloads/apache-hive-1.2.0-bin/lib
/root/Downloads/hadoop-2.6.5/share/hadoop/yarn/lib
3 hive
4.可以 show databases; show tables; create database 數(shù)據(jù)庫名;
create table 表名;
(tinyint smallint int bigint string float double array struct map timestamp)
desc 表名;show create table 表名;
5 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 切分的類 在使用這個hdfs中文件的
時候進行切分 一定是在查詢數(shù)據(jù)的時候切分 所以是懶加載
org.apache.hadoop.mapred.TextInputFormat 在取hdfs數(shù)據(jù)的時候,我們其實是將mr提交完畢
以后用mapper進行數(shù)據(jù)讀取 讀取的時候用到
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
在mr任務(wù)執(zhí)行的時候,讀取完畢的數(shù)據(jù)要輸入到一個文件中,輸出的時候只要value,不要key
hdfs://linux01:9000/user/hive/warehouse/student
指向一個hdfs文件夾目錄 目錄中的所有數(shù)據(jù)都是這個表的數(shù)據(jù)
***默認情況下在我們沒有設(shè)置這個數(shù)據(jù)庫連接時,那么存儲的位置就在當(dāng)前的目錄
默認用的derby數(shù)據(jù)庫
***如果換了一個啟動目錄,對應(yīng)的數(shù)據(jù)就不存在了
6 rpm -qa | grep mysql
rpm -e --nodeps mysql
7 安裝 rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm
8 service mysql start
mysql_secure_installation
9 service mysql restart
10 mysql -uroot -p123456(ps aux |grep mysq* kill pid)
11 scp 客戶端 安裝
12 grant all privileges on *.* to root@"%" identified by "123456";
flush privileges;
13 service mysql restart
14 mysql -uroot -p123456 -h linux02
15 create user wzw;
16 set password for wzw=password("123456")
17 update user set Grant_priv="Y" where user="root"
18 grant select on 1807A.student to wzw;
1. /$HIVE_HOME/conf
將hive-default.xml.template 重命名 hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux02:3306/hive?characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
2 將mysql的驅(qū)動jar包添加到hive的lib目錄下
3.配置數(shù)據(jù)庫的遠程連接,創(chuàng)建hive數(shù)據(jù)庫的時候 swedish
create database hive character set "latin1";
4 hive
在hive中的所有的數(shù)據(jù)都存在hdfs中,一個表對應(yīng)的一個文件夾
/user/hive/warehouse是hive存放文件的基礎(chǔ)目錄,默認不變
直接指向這個目錄,這個是根目錄
創(chuàng)建的數(shù)據(jù)庫會在這個目錄中存在一個xxx.db的文件夾
create table student2() loaction "hdfs://linux01:9000/student2"
5 在mapreduced-site.xml local
?
?
?
?
?
4.5Hive配置文件 進入配置文件目錄: # >cd /home/bigdata/hive/conf將hive-default.xml.template文件拷貝并重命名成hive-site.xml: # >mv hive-default.xml.template hive-site.xml清空文件中<configuration></configuration>之間的內(nèi)容并加入下列內(nèi)容: <property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://slave1.com:3306/hive?characterEncoding=UTF-8</value> </property> <property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value> </property> <property><name>javax.jdo.option.ConnectionUserName</name><value>root</value> </property> <property><name>javax.jdo.option.ConnectionPassword</name><value>root</value> </property>將mysql的驅(qū)動jar包添加到hive的lib目錄下?
?
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/JBLi/p/10824342.html
總結(jié)
以上是生活随笔為你收集整理的05-配置数据库的远程连接 创建hive数据库的时候要选择latin1的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 697-数组的度
- 下一篇: PHP学习之PHP的语法糖