? Sqoop中都以hdfs為主體:hdfs（數據經過處理）通過sqoop指令導出到mysql。

? mysql（數據經過沉淀，需要保存）通過sqoop指令導入到hdfs

sqoop-import(導入)

在Sqoop中，import“導入”概念指：從非大數據集群（RDBMS）向大數據集群（HDFS，HIVE，HBASE）中傳輸數據

• 示例：RDBMS（mysql） —— HDFS

bin/sqoop import \ --driver com.mysql.jdbc.Driver \ --connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \ --username root \ --password 123456 \ --table t_user \ --num-mappers 4 \ --fields-terminated-by '\t' \ --target-dir /mysql/t_user \ --delete-target-dir# 從MySQL中直接讀取一個整表數據 # 如果配置了環境變量，則可以在linux系統中任意一個位置執行下述語句sqoop import \ # import 指的是要將 關系型數據庫中的數據傳遞到 hadoop 中 --driver com.mysql.jdbc.Driver \ # 要連接的數據庫的驅動，需要在安裝的時候提前放入lib目錄 --connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \ # 提供jdbc連接串，注意：連接的數據庫名一定是存在的 --username root \ # MySQL數據庫的登錄名 --password 123456 \ # MySQL數據庫的登錄密碼 --table t_user \ # 指的是要讀取test1 這個數據庫中的哪個表：t_user(表要提前存在) --num-mappers 4 \ # 設置mr程序中的maptask并行度 （sqoop會根據MySQL表中的主鍵進行數據的拆分），結果文件會有4個 --fields-terminated-by '\t' \ # 生成文件中的分隔符指定 --target-dir /mysql/t_user \ # 設定目標目錄（一定是hdfs中的目錄） --delete-target-dir # 如果目標目錄存在，則刪除再導入# 按照條件，抽取MySQL中的數據進行傳遞 sqoop import \ --driver com.mysql.jdbc.Driver \ --connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \ --username root \ --password 123456 \ --table t_user \ --columns "id,name" \ # 可以通過columns 參數指定要抽取的字段 --where "id > 2" \ # 可以通過where 參數進行條件篩選，通常在這個地方會寫：deal_date = '20220830' --target-dir /mysql/t_user \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by '\t'--fields-terminated-by '\t' \ --query 'select t1.id,t1.name,t1.age,t2.sex_name from t_user t1 left join dim_sex t2 on t1.sex = t2.sex_id where $CONDITIONS and t1.id > 4 LIMIT 3' \ # sqoop支持通過SQL語句進行數據的抽取，SQL語句中必須有where條件且必須在where后面添加$CONDITIONS關鍵字，如果有更多的條件需要加入到SQL中時，需要在$CONDITIONS關鍵字后面加上 and 進行條件的連接 --target-dir /mysql/t_user \--fields-terminated-by ',' \ --query 'select id,name from t_user where $CONDITIONS ' \ --target-dir /user/hive/warehouse/test_hive.db/test_sqoop \ # 測試直接向 hive表中的location放入數據 --delete-target-dir# 通過sqoop直接向hive 表中輸入數據： --fields-terminated-by "\t" \ --hive-overwrite \ # 表數據是否需要覆蓋 --hive-database test_hive \ # 指明表所在的數據庫 --hive-table hive_user # 指明要將數據輸入到哪個表中，如果表不存在則會創建

sqoop-export（導出）

在Sqoop中，export“導出”概念指：從大數據集群（HDFS，HIVE，HBASE）向非大數據集群（RDBMS關系型數據庫）中傳輸數據

• 示例：HDFS|hive —— RDBMS(mysql)

bin/sqoop export \ --connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \ --username root \ --password 123456 \ --table t_user2 \ --update-key id \ --update-mode allowinsert \ --export-dir /sqoop \ --input-fields-terminated-by ' '# 數據從hdfs中導出到MySQL sqoop export \ # export 標記該指令為 導出 動作 --connect jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8 \ --username root \ --password 123456 \ --table t_user2 \ # --table 這個參數，只標識 傳統數據庫中的表名，指定的這個表一定是提前存在的 --update-key id \ # 通過設定 update-key 進行數據的更新操作和判定是否為新數據的操作 --update-mode allowinsert \ # allowinsert 在遇到相同的主鍵時更新數據，如果不相同則允許插入 # updateonly 只更新數據，不插入新的數據 --export-dir /sqoop \ # “導出目錄”：指的是hdfs中的一個路徑，sqoop會從中進行數據的抽取 --input-fields-terminated-by ' ' # 被讀取的hdfs中的文件的分隔符

Mysql中如果表不存在，不會自動創建

總結

以上是生活随笔為你收集整理的sqoop编写的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。