本文轉(zhuǎn)載自：https://www.cnblogs.com/yfb918/p/10411507.html
Sqoop:

sqoop從數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到HDFS

sqoop從數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到hive

sqoop從hive中將數(shù)據(jù)導(dǎo)出到數(shù)據(jù)庫

sqoop底層還是執(zhí)行的mapreduce程序，但是特殊的地方只有map task
可以實現(xiàn)：企業(yè)級數(shù)據(jù)倉庫、文檔型系統(tǒng)、關(guān)系型數(shù)據(jù)庫

sqoop安裝：

tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz

將mysql的驅(qū)動包mysql-connector-java-5.1.43.jar拷貝到sqoop home/lib下面

cp mysql-connector-java-5.1.43.jar sqoop-1.4.6-cdh5.5.2/lib/

3.配置環(huán)境變量

export SQOOP_HOME=/yang/sqoop-1.4.6-cdh5.5.2 export PATH=$PATH:$SQOOP_HOME/bin

配置SQOOP ,cd sqoop-1.4.6-cdh5.5.2/conf/

mv sqoop-env-template.sh sqoop-env.shexport HADOOP_COMMON_HOME=/yang/hadoop-2.6.5 export HADOOP_MAPRED_HOME=/yang/hadoop-2.6.5 export HBASE_HOME=/yang/hbase-1.2.5 export HIVE_HOME=/yang/apache-hive-2.1.1-bin

source /etc/profile

sqoop version

開始使用：
前提：mysql可以正常使用
hdfs服務(wù)開啟start-dfs.sh start-yarn.sh
hive服務(wù)開啟 nohup hive --service metastore &
查看數(shù)據(jù)庫有哪些表

sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P

或者(上面大寫P會讓你在控制臺輸入密碼)

sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root --password 1234 sqoop list-tables --connect jdbc:mysql://192.168.100.121:3306/big_data --username root -P

#使用 sqoop將數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入到 Hdfs（地址使用默認地址/user/$user/tabname）
斜杠后面不能有空格 而且需要啟動yarn，因為要sqoop底層要執(zhí)行mapreduce
當執(zhí)行報錯;classwrite的時候加入：–driver com.mysql.jdbc.Driver \

sqoop import \ --connect jdbc:mysql://192.168.100.121:3306/big_data \ --driver com.mysql.jdbc.Driver \ --username root \ --password 1234 \ --table t_area 需要放入那張表 #使用指定的輸出目錄 --target-dir /tmp \ #使用指定的并發(fā)數(shù)量 -m 2 sqoop import \ --connect jdbc:mysql://192.168.100.121:3306/big_data \ --driver com.mysql.jdbc.Driver \ --username root \ --password 1234 \ --table t_area \ --target-dir /sqoop \ -m 2

#使用sqoop將HDFS文件導(dǎo)出到 MYSQL 表中，默認MAP為 4個 ,先將空表建好t_area_copy1

sqoop export \ --connect jdbc:mysql://192.168.100.121:3306/big_data \ --driver com.mysql.jdbc.Driver \ --table t_area_copy1 \ --username root \ --password 1234 \ --export-dir hdfs://192.168.200.200:9000/sqoop

mysql導(dǎo)入到hive:
注意需要啟動服務(wù)：hive服務(wù)開啟 nohup hive --service metastore &
再來啟動hive

#使用自定義的條件，并且過濾字段，并發(fā)數(shù)為1 #切分的字段可以更改為另外一個字段 sqoop import \ --hive-import \ --hive-table t_area \ --connect jdbc:mysql://192.168.128.121:3306/big_data \ --username root \ --password 1234 \ --query "SELECT * from t_area where \$CONDITIONS" \ //將mysql中的表導(dǎo)入到hive表t_area --fields-terminated-by "," \ //按,分割，首先在hive中將表建好(z字段對應(yīng))，并按,分割 --lines-terminated-by "\n" \ --target-dir /tmp/aa \ //臨時存放的目錄 -m 1

異常：org.apache.hadoop.hive.conf.HiveConf
Make sure HIVE_CONF_DIR is set correctly
解決：
在/etc/profile下面加上：

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

分布發(fā)送到其他主機上 source 一下

sqoop export \ --connect jdbc:mysql://192.168.100.121:3306/big_data \ 將hive的數(shù)據(jù)導(dǎo)出到mysql:是通過hdfs中的路徑導(dǎo)入到mysql中 如果需要通過導(dǎo)入指定行的話，需要建立中間表 --driver com.mysql.jdbc.Driver \ --table t_area1 \ //導(dǎo)入到mysql表t_area1 --username root \ --password 1234 \ --export-dir /user/hive/warehose/t_area \ 這個文件路徑從hdfs上知道 --input-fields-terminated-by ',' 是以,分割的

總結(jié)

以上是生活随笔為你收集整理的Sqoop（一）安装及基本使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。