當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

数据仓库之电商数仓-- 2、业务数据采集平台

發(fā)布時(shí)間：2025/3/17 编程问答 11 豆豆

生活随笔收集整理的這篇文章主要介紹了数据仓库之电商数仓-- 2、业务数据采集平台小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

一、電商業(yè)務(wù)簡(jiǎn)介
- 1.1 電商業(yè)務(wù)流程
- 1.2 電商常識(shí)(SKU、SPU)
- 1.3 電商系統(tǒng)表結(jié)構(gòu)
- - 1.3.1 活動(dòng)信息表(activity_info)
  - 1.3.2 活動(dòng)規(guī)則表(activity_rule)
  - 1.3.3 活動(dòng)商品關(guān)聯(lián)表(activity_sku)
  - 1.3.4 平臺(tái)屬性表(base_attr_info)
  - 1.3.5 平臺(tái)屬性值表(base_attr_value)
  - 1.3.6 商品一級(jí)分類表(base_category1)
  - 1.3.7 二級(jí)分類表(base_category2)
  - 1.3.8 三級(jí)分類表(base_category3)
  - 1.3.9 字典表(base_dic)
  - 1.3.10 省份表(base_province)
  - 1.3.11 地區(qū)表(base_region)
  - 1.3.12 品牌表(base_trademark)
  - 1.3.13 購(gòu)物車表(cart_info)
  - 1.3.14 評(píng)價(jià)表(comment_info)
  - 1.3.15 優(yōu)惠券信息表(coupon_info)
  - 1.3.16 優(yōu)惠券優(yōu)惠范圍表(coupon_range)
  - 1.3.17 優(yōu)惠券領(lǐng)用表(coupon_use)
  - 1.3.18 收藏表(favor_info)
  - 1.3.19 訂單明細(xì)表(order_detail)
  - 1.3.20 訂單明細(xì)活動(dòng)關(guān)聯(lián)表(order_detail_activity)
  - 1.3.21 訂單明細(xì)優(yōu)惠券關(guān)聯(lián)表(order_detail_coupon)
  - 1.3.22 訂單表(order_info)
  - 1.3.23 退單表(order_refund_info)
  - 1.3.24 訂單狀態(tài)流水表(order_status_log)
  - 1.3.25 支付表(payment_info)
  - 1.3.26 退款表(refund_payment)
  - 1.3.27 SKU平臺(tái)屬性表(sku_attr_info)
  - 1.3.28 SKU信息表(sku_info)
  - 1.3.29 SKU銷售屬性表(sku_sale_attr_value)
  - 1.3.30 SPU信息表(spu_info)
  - 1.3.31 SPU銷售屬性表(spu_sale_attr)
  - 1.3.32 SPU銷售屬性值表(spu_sale_attr_value)
  - 1.3.33 用戶地址表(user_address)
  - 1.3.34 用戶信息表(user_info)
二、業(yè)務(wù)數(shù)據(jù)采集模塊
- 2.1 MySQL安裝
- - 2.1.1 安裝MySQL
  - 2.1.2 配置MySQL
- 2.2 業(yè)務(wù)數(shù)據(jù)生成
- - 2.2.1 連接MySQL
  - 2.2.2 建表語(yǔ)句
  - 2.2.3 生成業(yè)務(wù)數(shù)據(jù)
- 2.3 Sqoop安裝
- - 2.3.1 下載并解壓
  - 2.3.2 修改配置文件
  - 2.3.3 拷貝JDBC驅(qū)動(dòng)
  - 2.3.4 驗(yàn)證Sqoop
  - 2.3.5 測(cè)試Sqoop是否能夠成功連接數(shù)據(jù)庫(kù)
  - 2.3.6 Sqoop基本使用
- 2.4 同步策略
- - 2.4.1 全量同步策略
  - 2.4.2 增量同步策略
  - 2.4.3 新增及變化策略
  - 2.4.4 特殊策略
- 2.5 業(yè)務(wù)數(shù)據(jù)導(dǎo)入 HDFS
- - 2.5.1 分析表同步策略
  - 2.5.2 業(yè)務(wù)數(shù)據(jù)首日同步腳本
  - 2.5.3 業(yè)務(wù)數(shù)據(jù)每日同步腳本
  - 2.5.4 項(xiàng)目經(jīng)驗(yàn)
三、數(shù)據(jù)環(huán)境準(zhǔn)備
- 3.1 Hive安裝部署
- 3.2 Hive原數(shù)據(jù)配置到MySQL
- - 3.2.1 拷貝驅(qū)動(dòng)
  - 3.2.2 配置Metastore到MySQL
- 3.3 啟動(dòng)Hive
- - 3.3.1 初始化元數(shù)據(jù)庫(kù)
  - 3.3.2 啟動(dòng)Hive客戶端

-----------------------------------------------------分隔符-----------------------------------------------------
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 1、用戶行為數(shù)據(jù)采集==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 2、業(yè)務(wù)數(shù)據(jù)采集平臺(tái)==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 3.1、電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(DIM層、ODS層、DWD層)==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 3.2、電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(DWS層)==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 3.3、電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(DWT層)==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 3.4、電商數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(ADS層)==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 4、可視化報(bào)表Superset==>
數(shù)據(jù)倉(cāng)庫(kù)之電商數(shù)倉(cāng)-- 5、即席查詢Kylin==>

一、電商業(yè)務(wù)簡(jiǎn)介

1.1 電商業(yè)務(wù)流程

電商的業(yè)務(wù)流程可以以一個(gè)普通用戶的瀏覽足跡為例進(jìn)行說(shuō)明，用戶點(diǎn)開電商首頁(yè)開始瀏覽，可能會(huì)通過(guò)分類查詢也可能通過(guò)全文搜索尋找自己中意的商品，這些商品無(wú)疑都是存儲(chǔ)在后臺(tái)的管理系統(tǒng)中的。

當(dāng)用戶尋找到自己中意的商品，可能會(huì)想要購(gòu)買，將商品添加到購(gòu)物車后發(fā)現(xiàn)需要登錄，登錄后對(duì)商品進(jìn)行結(jié)算，這時(shí)候購(gòu)物車的管理和商品訂單信息的生成都會(huì)對(duì)業(yè)務(wù)數(shù)據(jù)庫(kù)產(chǎn)生影響，會(huì)生成相應(yīng)的訂單數(shù)據(jù)和支付數(shù)據(jù)。

訂單正式生成之后，還會(huì)對(duì)訂單進(jìn)行跟蹤處理，直到訂單全部完成。
電商的主要業(yè)務(wù)流程包括用戶前臺(tái)瀏覽商品時(shí)的商品詳情的管理，用戶商品加入購(gòu)物車進(jìn)行支付時(shí)用戶個(gè)人中心&支付服務(wù)的管理，用戶支付完成后訂單后臺(tái)服務(wù)的管理，這些流程涉及到了十幾個(gè)甚至幾十個(gè)業(yè)務(wù)數(shù)據(jù)表，甚至更多。

1.2 電商常識(shí)(SKU、SPU)

SKU=StockKeepingUni(t 庫(kù)存量基本單位) ：現(xiàn)在已經(jīng)被引申為產(chǎn)品統(tǒng)一編號(hào)的簡(jiǎn)稱，每種產(chǎn)品均對(duì)應(yīng)有唯一的 SKU 號(hào)。
SPU(Standard Product Unit): 是商品信息聚合的最小單位，是一組可復(fù)用、易檢索的標(biāo)準(zhǔn)化信息集合。

例如:iPhoneX 手機(jī)就是 SPU。一臺(tái)銀色、128G 內(nèi)存的、支持聯(lián)通網(wǎng)絡(luò)的 iPhoneX，就是 SKU。

tips：
簡(jiǎn)單來(lái)說(shuō)，SKU、SPU都是指一類產(chǎn)品；SPU表示商品名稱、型號(hào)相同的一類商品；SKU是指商品名稱、型號(hào)、各個(gè)參數(shù)屬性也相同的一類商品。
SPU 表示一類商品。好處就是:可以共用商品圖片，海報(bào)、銷售屬性等。

1.3 電商系統(tǒng)表結(jié)構(gòu)

本電商數(shù)倉(cāng)系統(tǒng)涉及到的業(yè)務(wù)數(shù)據(jù)表結(jié)構(gòu)關(guān)系共 34 個(gè)表，以訂單表、用戶表、SKU 商品表、活動(dòng)表和優(yōu)惠券表為中心，延伸出了優(yōu)惠券領(lǐng)用表、支付流水表、活動(dòng)訂單表、訂單詳情表、訂單狀態(tài)表、商品評(píng)論表、編碼字典表退單表、SPU 商品表等，用戶表提供用戶的詳細(xì)信息，支付流水表提供該訂單的支付詳情，訂單詳情表提供訂單的商品數(shù)量等情況，商品表給訂單詳情表提供商品的詳細(xì)信息。

電商業(yè)務(wù)表

后臺(tái)管理系統(tǒng)

1.3.1 活動(dòng)信息表(activity_info)

1.3.2 活動(dòng)規(guī)則表(activity_rule)

1.3.3 活動(dòng)商品關(guān)聯(lián)表(activity_sku)

1.3.4 平臺(tái)屬性表(base_attr_info)

1.3.5 平臺(tái)屬性值表(base_attr_value)

1.3.6 商品一級(jí)分類表(base_category1)

1.3.7 二級(jí)分類表(base_category2)

1.3.8 三級(jí)分類表(base_category3)

1.3.9 字典表(base_dic)

1.3.10 省份表(base_province)

1.3.11 地區(qū)表(base_region)

1.3.12 品牌表(base_trademark)

1.3.13 購(gòu)物車表(cart_info)

1.3.14 評(píng)價(jià)表(comment_info)

1.3.15 優(yōu)惠券信息表(coupon_info)

1.3.16 優(yōu)惠券優(yōu)惠范圍表(coupon_range)

1.3.17 優(yōu)惠券領(lǐng)用表(coupon_use)

1.3.18 收藏表(favor_info)

1.3.19 訂單明細(xì)表(order_detail)

1.3.20 訂單明細(xì)活動(dòng)關(guān)聯(lián)表(order_detail_activity)

1.3.21 訂單明細(xì)優(yōu)惠券關(guān)聯(lián)表(order_detail_coupon)

1.3.22 訂單表(order_info)

1.3.23 退單表(order_refund_info)

1.3.24 訂單狀態(tài)流水表(order_status_log)

1.3.25 支付表(payment_info)

1.3.26 退款表(refund_payment)

1.3.27 SKU平臺(tái)屬性表(sku_attr_info)

1.3.28 SKU信息表(sku_info)

1.3.29 SKU銷售屬性表(sku_sale_attr_value)

1.3.30 SPU信息表(spu_info)

1.3.31 SPU銷售屬性表(spu_sale_attr)

1.3.32 SPU銷售屬性值表(spu_sale_attr_value)

1.3.33 用戶地址表(user_address)

1.3.34 用戶信息表(user_info)

二、業(yè)務(wù)數(shù)據(jù)采集模塊

2.1 MySQL安裝

2.1.1 安裝MySQL

如圖，將安裝包和JDBC驅(qū)動(dòng)上傳到/opt/software/mysql:

卸載自帶的Mysql-libs

[xiaobai@hadoop102 mysql]$ rpm -qa | grep -i -E mysql\ | mariadb | xargs =-n1 sudo rpm -e --nodeps

tips: 查詢自帶的rpm包 -i忽略大小寫 -E正則表達(dá)式查詢 mysql/mariadb; xargs=-n1 表示將上一個(gè)命令的輸出作為下一個(gè)命令sudo rpm -e --nodeps的輸入。

若是遇到一些很難刪除掉的MySQL戳這里==>

安裝MySQL依賴：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm [xiaobai@hadoop102 mysql]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm [xiaobai@hadoop102 mysql]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

安裝mysql-client：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

安裝mysql-server：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

注??：
若是報(bào)以下錯(cuò)誤，是由于yum安裝了舊版本的GPG keys造成的，從rpm版本4.1后，在安裝或升級(jí)軟件包時(shí)會(huì)自動(dòng)檢查軟件包的簽名。

解決方法： 在安裝包命令后加上--force --nodeps：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm --force --nodeps

啟動(dòng)MySQL：

[xiaobai@hadoop102 mysql]$ sudo systemctl start mysqld

查看MySQL密碼：

[xiaobai@hadoop102 mysql]$ sudo cat /var/log/mysqld.log | grep password

2.1.2 配置MySQL

注??：
配置只要是root用戶 + 密碼，在任何主機(jī)上都可以登錄MySQL數(shù)據(jù)庫(kù)。

用剛查詢到的密碼進(jìn)入MySQL：

使用此方法進(jìn)不去mysql，提示ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost錯(cuò)誤的請(qǐng)戳這里==>

設(shè)置復(fù)雜密碼（MySQL密碼策略）:

mysql> set password=password("H232%sd=55");

更改MySQL密碼策略：

mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0;

設(shè)置自己的密碼：

mysql> set password=password("******");

進(jìn)入MySQL庫(kù)：

mysql> use mysql

查詢user表：

修改user表，把Host表內(nèi)容修改為%：

刷新：

mysql> flush privileges;

退出：

mysql> quit

2.2 業(yè)務(wù)數(shù)據(jù)生成

2.2.1 連接MySQL

通過(guò)Navicat Premium連接MySQL數(shù)據(jù)庫(kù)，可先點(diǎn)擊連接測(cè)試進(jìn)行測(cè)試：

2.2.2 建表語(yǔ)句

通過(guò) Navicat 創(chuàng)建數(shù)據(jù)庫(kù) gmall；

如圖，設(shè)置數(shù)據(jù)庫(kù)編碼: 默認(rèn)字符集設(shè)為utf8，默認(rèn)排序規(guī)則設(shè)為utf8_general_ci：

導(dǎo)入數(shù)據(jù)庫(kù)結(jié)構(gòu)腳本(gmall.sql)：打開數(shù)據(jù)庫(kù)–>運(yùn)行sql文件–>gmall.sql–>開始：
注??：編碼選擇utf-8；

如圖，右鍵點(diǎn)擊‘表’ 進(jìn)行‘刷新’即可看見(jiàn)數(shù)據(jù)庫(kù)中的表：

2.2.3 生成業(yè)務(wù)數(shù)據(jù)

在 hadoop102 的/opt/module/目錄下創(chuàng)建 db_log 文件夾：

[xiaobai@hadoop102 module]$ mkdir db_log/

將業(yè)務(wù)數(shù)據(jù)生成器以及配置文件 gmall2020-mock-db-2021-01-22.jar 、application.properties 上傳到 hadoop102 的 /opt/module/db_log 路徑上；

根據(jù)需求修改 application.properties 相關(guān)配置：

logging.level.root=infospring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://hadoop102:3306/gmall?characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8 spring.datasource.username=root spring.datasource.password=記得修改密碼！logging.pattern.console=%m%nmybatis-plus.global-config.db-config.field-strategy=not_null#業(yè)務(wù)日期 mock.date=2020-06-14 #是否重置注意：第一次執(zhí)行必須設(shè)置為1，后續(xù)不需要重置不用設(shè)置為1 mock.clear=1 #是否重置用戶注意：第一次執(zhí)行必須設(shè)置為1，后續(xù)不需要重置不用設(shè)置為1 mock.clear.user=1#生成新用戶數(shù)量 mock.user.count=100 #男性比例 mock.user.male-rate=20 #用戶數(shù)據(jù)變化概率 mock.user.update-rate:20#收藏取消比例 mock.favor.cancel-rate=10 #收藏?cái)?shù)量 mock.favor.count=100#每個(gè)用戶添加購(gòu)物車的概率 mock.cart.user-rate=50 #每次每個(gè)用戶最多添加多少種商品進(jìn)購(gòu)物車 mock.cart.max-sku-count=8 #每個(gè)商品最多買幾個(gè) mock.cart.max-sku-num=3 #購(gòu)物車來(lái)源用戶查詢，商品推廣，智能推薦, 促銷活動(dòng) mock.cart.source-type-rate=60:20:10:10#用戶下單比例 mock.order.user-rate=50 #用戶從購(gòu)物中購(gòu)買商品比例 mock.order.sku-rate=50 #是否參加活動(dòng) mock.order.join-activity=1 #是否使用購(gòu)物券 mock.order.use-coupon=1 #購(gòu)物券領(lǐng)取人數(shù) mock.coupon.user-count=100#支付比例 mock.payment.rate=70 #支付方式支付寶：微信：銀聯(lián) mock.payment.payment-type=30:60:10#評(píng)價(jià)比例好：中：差：自動(dòng) mock.comment.appraise-rate=30:10:10:50#退款原因比例：質(zhì)量問(wèn)題商品描述與實(shí)際描述不一致缺貨號(hào)碼不合適拍錯(cuò) 不想買了其他 mock.refund.reason-rate=30:10:20:5:15:5:5

2.3 Sqoop安裝

2.3.1 下載并解壓

下載地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

上傳安裝包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到 hadoop102 的/opt/software/sqoop 路徑中:

[xiaobai@hadoop102 sqoop]$ ll total 16476 -rw-r--r--. 1 root root 16870735 Oct 3 21:02 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解壓 sqoop 安裝包到指定目錄/opt/module/:

[xiaobai@hadoop102 sqoop]$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

將/opt/module/目錄下的sqoop-1.4.6.bin__hadoop-2.0.4-alpha改名為sqoop：

[xiaobai@hadoop102 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2.3.2 修改配置文件

進(jìn)入到/opt/module/sqoop/conf 目錄，重命名配置文件sqoop-env-template.sh為sqoop-env.sh:

[xiaobai@hadoop102 conf]$ mv sqoop-env-template.sh sqoop-env.sh

修改配置文件

[xiaobai@hadoop102 conf]$ vim sqoop-env.sh

增加如下內(nèi)容：

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.2.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2 export HIVE_HOME=/opt/module/hive export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7 export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

2.3.3 拷貝JDBC驅(qū)動(dòng)

將原先上傳到/opt/software/mysql路徑下的JDBC驅(qū)動(dòng)mysql-connector-java-5.1.27-bin.jar拷貝到/opt/module/sqoop/lib/路徑下：

[xiaobai@hadoop102 conf]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

2.3.4 驗(yàn)證Sqoop

可通過(guò)一些command來(lái)驗(yàn)證sqoop配置是否正確，如：

[xiaobai@hadoop102 sqoop]$ bin/sqoop help

如圖，會(huì)出現(xiàn)一些warning警告和help命令的輸出：

2.3.5 測(cè)試Sqoop是否能夠成功連接數(shù)據(jù)庫(kù)

在sqoop根目錄下使用以下命令測(cè)試sqoop是否可以正確連接數(shù)據(jù)庫(kù)：

[xiaobai@hadoop102 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password ******

2.3.6 Sqoop基本使用

將mysql中sku_info表數(shù)據(jù)導(dǎo)入到HDSF的路徑下：

[xiaobai@hadoop102 sqoop]$ bin/sqoop import \ > --connect jdbc:mysql://hadoop102:3306/gmall \ > --username root \ > --password mysql123 \ > --table sku_info \ > --columns id,sku_name \ > --where 'id>=1 and id<=20' \ > --target-dir /sku_info \ > --delete-target-dir \ > --fields-terminated-by '\t' \ > --num-mappers 2 \ > --split-by id

注??：因?yàn)閟qoop的mapreduce只有map，無(wú)reduce，所以最終輸出的文件個(gè)數(shù)就是map的個(gè)數(shù)。

2.4 同步策略

數(shù)據(jù)同步策略的類型包括: 全量同步、增量同步、新增及變化同步、特殊情況；

全量表: 存儲(chǔ)完整的數(shù)據(jù)。
增量表: 存儲(chǔ)新增加的數(shù)據(jù)。
新增及變化表: 存儲(chǔ)新增加的數(shù)據(jù)和變化的數(shù)據(jù)。
特殊表: 只需要存儲(chǔ)一次。

2.4.1 全量同步策略

每日全量：就是每天存儲(chǔ)一份完整數(shù)據(jù)，作為一個(gè)分區(qū)。
適用場(chǎng)景： 適用于表數(shù)據(jù)量不大，且每天既會(huì)有新數(shù)據(jù)插入，也會(huì)有舊數(shù)據(jù)的修改的場(chǎng)景。
例如:編碼字典表、品牌表、商品三級(jí)分類、商品二級(jí)分類、商品一級(jí)分類、優(yōu)惠規(guī)則表、活動(dòng)表、活動(dòng)參與商品表、加購(gòu)表、商品收藏表、優(yōu)惠卷表、SKU 商品表、SPU商品表。

2.4.2 增量同步策略

每日增量： 就是每天存儲(chǔ)一份增量數(shù)據(jù)，作為一個(gè)分區(qū)。
適用場(chǎng)景： 適用于表數(shù)據(jù)量大，且每天只會(huì)有新數(shù)據(jù)插入的場(chǎng)景。
例如:退單表、訂單狀態(tài)表、支付流水表、訂單詳情表、活動(dòng)與訂單關(guān)聯(lián)表、商品評(píng)論表。

2.4.3 新增及變化策略

每日新增及變化： 就是存儲(chǔ)創(chuàng)建時(shí)間和操作時(shí)間都是今天的數(shù)據(jù)。
適用場(chǎng)景： 表的數(shù)據(jù)量大，既會(huì)有新增，又會(huì)有變化。
例如:用戶表、訂單表、優(yōu)惠卷領(lǐng)用表。

2.4.4 特殊策略

特殊策略： 某些特殊的維度表，可不必遵循上述同步策略。

客觀世界維度：沒(méi)變化的客觀世界的維度(比如性別，地區(qū)，民族，政治成分，鞋子尺碼)可以只存一份固定值。

日期維度：日期維度可以一次性導(dǎo)入一年或若干年的數(shù)據(jù)。

2.5 業(yè)務(wù)數(shù)據(jù)導(dǎo)入 HDFS

2.5.1 分析表同步策略

在生產(chǎn)環(huán)境，個(gè)別小公司，為了簡(jiǎn)單處理，所有表全量導(dǎo)入。
中大型公司，由于數(shù)據(jù)量比較大，還是嚴(yán)格按照同步策略導(dǎo)入數(shù)據(jù)。

分析表同步策略：

2.5.2 業(yè)務(wù)數(shù)據(jù)首日同步腳本

在/home/xiaobai/bin 目錄下創(chuàng)建mysql_to_hdfs_init.sh:

[xiaobai@hadoop102 bin]$ vim mysql_to_hdfs_init.sh

在腳本里增加以下內(nèi)容：

#! /bin/bashAPP=gmall sqoop=/opt/module/sqoop/bin/sqoopif [ -n "$2" ] ;thendo_date=$2 else echo "請(qǐng)傳入日期參數(shù)"exit fi import_data(){ $sqoop import \ --connect jdbc:mysql://hadoop102:3306/$APP \ --username root \ --password ****** \ --target-dir /origin_data/$APP/db/$1/$do_date \ --delete-target-dir \ --query "$2 where \$CONDITIONS" \ --num-mappers 1 \ --fields-terminated-by '\t' \ --compress \ --compression-codec lzop \ --null-string '\\N' \ --null-non-string '\\N'hadoop jar /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date }import_order_info(){import_data order_info "selectid, total_amount, order_status, user_id, payment_way,delivery_address,out_trade_no, create_time, operate_time,expire_time,tracking_no,province_id,activity_reduce_amount,coupon_reduce_amount, original_total_amount,feight_fee,feight_fee_reduce from order_info" }import_coupon_use(){import_data coupon_use "selectid,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time,expire_timefrom coupon_use" }import_order_status_log(){import_data order_status_log "selectid,order_id,order_status,operate_timefrom order_status_log" }import_user_info(){import_data "user_info" "select id,login_name,nick_name,name,phone_num,email,user_level, birthday,gender,create_time,operate_timefrom user_info" }import_order_detail(){import_data order_detail "select id,order_id, sku_id,sku_name,order_price,sku_num, create_time,source_type,source_id,split_total_amount,split_activity_amount,split_coupon_amountfrom order_detail" }import_payment_info(){import_data "payment_info" "select id, out_trade_no, order_id, user_id, payment_type, trade_no, total_amount, subject, payment_status,create_time,callback_time from payment_info" }import_comment_info(){import_data comment_info "selectid,user_id,sku_id,spu_id,order_id,appraise,create_timefrom comment_info" }import_order_refund_info(){import_data order_refund_info "selectid,user_id,order_id,sku_id,refund_type,refund_num, refund_amount,refund_reason_type,refund_status,create_timefrom order_refund_info" }import_sku_info(){import_data sku_info "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_timefrom sku_info" }import_base_category1(){import_data "base_category1" "select id,name from base_category1" }import_base_category2(){import_data "base_category2" "selectid,name,category1_id from base_category2" }import_base_category3(){import_data "base_category3" "selectid,name,category2_idfrom base_category3" }import_base_province(){import_data base_province "selectid,name,region_id,area_code,iso_code,iso_3166_2from base_province" }import_base_region(){import_data base_region "select id,region_namefrom base_region" }import_base_trademark(){import_data base_trademark "selectid,tm_namefrom base_trademark" }import_spu_info(){import_data spu_info "selectid,spu_name,category3_id,tm_idfrom spu_info" }import_favor_info(){import_data favor_info "selectid,user_id,sku_id,spu_id,is_cancel,create_time,cancel_timefrom favor_info" }import_cart_info(){import_data cart_info "selectid,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time,source_type,source_idfrom cart_info" }import_coupon_info(){import_data coupon_info "selectid,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,limit_num,taken_count,start_time,end_time,operate_time,expire_timefrom coupon_info" }import_activity_info(){import_data activity_info "selectid,activity_name,activity_type,start_time,end_time,create_timefrom activity_info" }import_activity_rule(){import_data activity_rule "selectid,activity_id,activity_type,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_levelfrom activity_rule" }import_base_dic(){import_data base_dic "selectdic_code,dic_name,parent_code,create_time,operate_timefrom base_dic" }import_order_detail_activity(){import_data order_detail_activity "selectid,order_id,order_detail_id,activity_id,activity_rule_id,sku_id,create_timefrom order_detail_activity" }import_order_detail_coupon(){import_data order_detail_coupon "selectid,order_id,order_detail_id,coupon_id,coupon_use_id,sku_id,create_timefrom order_detail_coupon" }import_refund_payment(){import_data refund_payment "selectid,out_trade_no,order_id,sku_id,payment_type,trade_no,total_amount,subject,refund_status,create_time,callback_timefrom refund_payment" }import_sku_attr_value(){import_data sku_attr_value "selectid,attr_id,value_id,sku_id,attr_name,value_namefrom sku_attr_value" }import_sku_sale_attr_value(){import_data sku_sale_attr_value "selectid,sku_id,spu_id,sale_attr_value_id,sale_attr_id,sale_attr_name,sale_attr_value_namefrom sku_sale_attr_value" }case $1 in"order_info")import_order_info ;;"base_category1")import_base_category1 ;;"base_category2")import_base_category2 ;;"base_category3")import_base_category3 ;;"order_detail")import_order_detail ;;"sku_info")import_sku_info ;;"user_info")import_user_info ;;"payment_info")import_payment_info ;;"base_province")import_base_province ;;"base_region")import_base_region ;;"base_trademark")import_base_trademark ;;"activity_info")import_activity_info ;;"cart_info")import_cart_info ;;"comment_info")import_comment_info ;;"coupon_info")import_coupon_info ;;"coupon_use")import_coupon_use ;;"favor_info")import_favor_info ;;"order_refund_info")import_order_refund_info ;;"order_status_log")import_order_status_log ;;"spu_info")import_spu_info ;;"activity_rule")import_activity_rule ;;"base_dic")import_base_dic ;;"order_detail_activity")import_order_detail_activity ;;"order_detail_coupon")import_order_detail_coupon ;;"refund_payment")import_refund_payment ;;"sku_attr_value")import_sku_attr_value ;;"sku_sale_attr_value")import_sku_sale_attr_value ;;"all")import_base_category1import_base_category2import_base_category3 import_order_infoimport_order_detailimport_sku_infoimport_user_infoimport_payment_infoimport_base_regionimport_base_provinceimport_base_trademarkimport_activity_infoimport_cart_infoimport_comment_infoimport_coupon_useimport_coupon_infoimport_favor_infoimport_order_refund_infoimport_order_status_logimport_spu_infoimport_activity_ruleimport_base_dicimport_order_detail_activityimport_order_detail_couponimport_refund_paymentimport_sku_attr_valueimport_sku_sale_attr_value ;; esac

給腳本增加執(zhí)行權(quán)限，見(jiàn)2.5.3??

2.5.3 業(yè)務(wù)數(shù)據(jù)每日同步腳本

在/home/xiaobai/bin 目錄下創(chuàng)建mysql_to_hdfs.sh:
在腳本里添加以下內(nèi)容：

#! /bin/bashAPP=gmall sqoop=/opt/module/sqoop/bin/sqoopif [ -n "$2" ] ;thendo_date=$2 elsedo_date=`date -d '-1 day' +%F` fi import_data(){ $sqoop import \ --connect jdbc:mysql://hadoop102:3306/$APP \ --username root \ --password ****** \ --target-dir /origin_data/$APP/db/$1/$do_date \ --delete-target-dir \ --query "$2 and \$CONDITIONS" \ --num-mappers 1 \ --fields-terminated-by '\t' \ --compress \ --compression-codec lzop \ --null-string '\\N' \ --null-non-string '\\N'hadoop jar /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date }import_order_info(){import_data order_info "selectid, total_amount, order_status, user_id, payment_way,delivery_address,out_trade_no, create_time, operate_time,expire_time,tracking_no,province_id,activity_reduce_amount,coupon_reduce_amount, original_total_amount,feight_fee,feight_fee_reduce from order_infowhere (date_format(create_time,'%Y-%m-%d')='$do_date' or date_format(operate_time,'%Y-%m-%d')='$do_date')" }import_coupon_use(){import_data coupon_use "selectid,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time,expire_timefrom coupon_usewhere (date_format(get_time,'%Y-%m-%d')='$do_date'or date_format(using_time,'%Y-%m-%d')='$do_date'or date_format(used_time,'%Y-%m-%d')='$do_date'or date_format(expire_time,'%Y-%m-%d')='$do_date')" }import_order_status_log(){import_data order_status_log "selectid,order_id,order_status,operate_timefrom order_status_logwhere date_format(operate_time,'%Y-%m-%d')='$do_date'" }import_user_info(){import_data "user_info" "select id,login_name,nick_name,name,phone_num,email,user_level, birthday,gender,create_time,operate_timefrom user_info where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(operate_time,'%Y-%m-%d')='$do_date')" }import_order_detail(){import_data order_detail "select id,order_id, sku_id,sku_name,order_price,sku_num, create_time,source_type,source_id,split_total_amount,split_activity_amount,split_coupon_amountfrom order_detail where DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date'"}import_payment_info(){import_data "payment_info" "select id, out_trade_no, order_id, user_id, payment_type, trade_no, total_amount, subject, payment_status,create_time,callback_time from payment_info where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')" }import_comment_info(){import_data comment_info "selectid,user_id,sku_id,spu_id,order_id,appraise,create_timefrom comment_infowhere date_format(create_time,'%Y-%m-%d')='$do_date'" }import_order_refund_info(){import_data order_refund_info "selectid,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,refund_status,create_timefrom order_refund_infowhere date_format(create_time,'%Y-%m-%d')='$do_date'" }import_sku_info(){import_data sku_info "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_timefrom sku_info where 1=1" }import_base_category1(){import_data "base_category1" "select id,name from base_category1 where 1=1" }import_base_category2(){import_data "base_category2" "selectid,name,category1_id from base_category2 where 1=1" }import_base_category3(){import_data "base_category3" "selectid,name,category2_idfrom base_category3 where 1=1" }import_base_province(){import_data base_province "selectid,name,region_id,area_code,iso_code,iso_3166_2from base_provincewhere 1=1" }import_base_region(){import_data base_region "selectid,region_namefrom base_regionwhere 1=1" }import_base_trademark(){import_data base_trademark "selectid,tm_namefrom base_trademark where 1=1" }import_spu_info(){import_data spu_info "selectid,spu_name,category3_id,tm_idfrom spu_infowhere 1=1" }import_favor_info(){import_data favor_info "selectid,user_id,sku_id,spu_id,is_cancel,create_time,cancel_timefrom favor_infowhere 1=1" }import_cart_info(){import_data cart_info "selectid,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time,source_type,source_idfrom cart_infowhere 1=1" }import_coupon_info(){import_data coupon_info "selectid,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,limit_num,taken_count,start_time,end_time,operate_time,expire_timefrom coupon_infowhere 1=1" }import_activity_info(){import_data activity_info "selectid,activity_name,activity_type,start_time,end_time,create_timefrom activity_infowhere 1=1" }import_activity_rule(){import_data activity_rule "selectid,activity_id,activity_type,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_levelfrom activity_rulewhere 1=1" }import_base_dic(){import_data base_dic "selectdic_code,dic_name,parent_code,create_time,operate_timefrom base_dicwhere 1=1" }import_order_detail_activity(){import_data order_detail_activity "selectid,order_id,order_detail_id,activity_id,activity_rule_id,sku_id,create_timefrom order_detail_activitywhere date_format(create_time,'%Y-%m-%d')='$do_date'" }import_order_detail_coupon(){import_data order_detail_coupon "selectid,order_id,order_detail_id,coupon_id,coupon_use_id,sku_id,create_timefrom order_detail_couponwhere date_format(create_time,'%Y-%m-%d')='$do_date'" }import_refund_payment(){import_data refund_payment "selectid,out_trade_no,order_id,sku_id,payment_type,trade_no,total_amount,subject,refund_status,create_time,callback_timefrom refund_paymentwhere (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')" }import_sku_attr_value(){import_data sku_attr_value "selectid,attr_id,value_id,sku_id,attr_name,value_namefrom sku_attr_valuewhere 1=1" }import_sku_sale_attr_value(){import_data sku_sale_attr_value "selectid,sku_id,spu_id,sale_attr_value_id,sale_attr_id,sale_attr_name,sale_attr_value_namefrom sku_sale_attr_valuewhere 1=1" }case $1 in"order_info")import_order_info ;;"base_category1")import_base_category1 ;;"base_category2")import_base_category2 ;;"base_category3")import_base_category3 ;;"order_detail")import_order_detail ;;"sku_info")import_sku_info ;;"user_info")import_user_info ;;"payment_info")import_payment_info ;;"base_province")import_base_province ;;"activity_info")import_activity_info ;;"cart_info")import_cart_info ;;"comment_info")import_comment_info ;;"coupon_info")import_coupon_info ;;"coupon_use")import_coupon_use ;;"favor_info")import_favor_info ;;"order_refund_info")import_order_refund_info ;;"order_status_log")import_order_status_log ;;"spu_info")import_spu_info ;;"activity_rule")import_activity_rule ;;"base_dic")import_base_dic ;;"order_detail_activity")import_order_detail_activity ;;"order_detail_coupon")import_order_detail_coupon ;;"refund_payment")import_refund_payment ;;"sku_attr_value")import_sku_attr_value ;;"sku_sale_attr_value")import_sku_sale_attr_value ;; "all")import_base_category1import_base_category2import_base_category3import_order_infoimport_order_detailimport_sku_infoimport_user_infoimport_payment_infoimport_base_trademarkimport_activity_infoimport_cart_infoimport_comment_infoimport_coupon_useimport_coupon_infoimport_favor_infoimport_order_refund_infoimport_order_status_logimport_spu_infoimport_activity_ruleimport_base_dicimport_order_detail_activityimport_order_detail_couponimport_refund_paymentimport_sku_attr_valueimport_sku_sale_attr_value ;; esac [xiaobai@hadoop102 bin]$ vim mysql_to_hdfs.sh

為以上兩個(gè)腳本mysql_to_hdfs_init.sh、mysql_to_hdfs.sh增加執(zhí)行權(quán)限：

[xiaobai@hadoop102 bin]$ chmod +x mysql_to_hdfs*

初次導(dǎo)入腳本：

[xiaobai@hadoop102 bin]$ ./mysql_to_hdfs_init.sh all 2020-06-14

輸出以下內(nèi)容表示命令執(zhí)行完成！

上述命令執(zhí)行完成后，如圖，打開http://hadoop102:9870/即可查看到我們所同步到hdfs上的數(shù)據(jù)：

每日導(dǎo)入腳本(為后續(xù)有增加或修改內(nèi)容時(shí)使用)：

[xiaobai@hadoop102 bin]$ ./mysql_to_hdfs.sh all 2020-06-15

注??：

[ -n 變量值 ] 判斷變量的值是否為空：

– 變量的值，非空，返回true；
– 變量的值，為空，返回false。

查看date命令的使用，[xiaobai@hadoop102 ~]$ date --help

do_date=\`date -d -1 day' +%F\`

=后面的命令?`` 的作用是的作用就是把=后面date -d -1 day' +%F的結(jié)果賦給前面的變量do_date！

若不?`` ，則會(huì)將=后面的命令當(dāng)作一個(gè)字符串賦值直接給前面的變量do_date，不是我們想要的結(jié)果。

2.5.4 項(xiàng)目經(jīng)驗(yàn)

Hive中的Null在底層是以“\N”來(lái)存儲(chǔ)，而MySQL中的Null在底層就是Null，為了保證數(shù)據(jù)兩端的一致性。在導(dǎo)出數(shù)據(jù)時(shí)采用–input-null-string和–input-null-non-string兩個(gè)參數(shù)。導(dǎo)入數(shù)據(jù)時(shí)采用–null-string和–null-non-string。

三、數(shù)據(jù)環(huán)境準(zhǔn)備

3.1 Hive安裝部署

如圖，把a(bǔ)pache-hive-3.1.2-bin.tar.gz上傳到Linux的/opt/software目錄下:

解壓apache-hive-3.1.2-bin.tar.gz到/opt/module/目錄下面：

[xiaobai@hadoop102 hive]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/

修改apache-hive-3.1.2-bin.tar.gz的名稱為hive:

[xiaobai@hadoop102 module]$ mv apache-hive-3.1.2-bin/ hive

修改/etc/profile.d/my_env.sh，添加環(huán)境變量:

[xiaobai@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh

如圖，添加以下內(nèi)容：

#HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin!

source一下 /etc/profile.d/my_env.sh文件，使環(huán)境變量生效：

[xiaobai@hadoop102 module]$ source /etc/profile.d/my_env.sh

3.2 Hive原數(shù)據(jù)配置到MySQL

3.2.1 拷貝驅(qū)動(dòng)

將MySQL的JDBC驅(qū)動(dòng)拷貝到Hive的lib目錄下:

[xiaobai@hadoop102 module]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

3.2.2 配置Metastore到MySQL

在/opt/module/hive/conf/目錄下新建hive-site.xml文件:

[xiaobai@hadoop102 conf]$ vim hive-site.xml

添加以下內(nèi)容：

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>******</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop102</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property> </configuration>

3.3 啟動(dòng)Hive

3.3.1 初始化元數(shù)據(jù)庫(kù)

登錄MySQL：

[xiaobai@hadoop102 conf]$ mysql -uroot -p Enter password:

新建Hive元數(shù)據(jù)庫(kù)：

mysql> create database metastore; Query OK, 1 row affected (0.03 sec)

初始化Hive元數(shù)據(jù)庫(kù)：

[xiaobai@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose

提示以下信息表示初始化完成！

0: jdbc:mysql://hadoop102:3306/metastore> !closeall Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false beeline> beeline> Initialization script completed schemaTool completed

3.3.2 啟動(dòng)Hive客戶端

啟動(dòng)Hive客戶端:

[xiaobai@hadoop102 conf]$ hive

查看一下數(shù)據(jù)庫(kù):

hive (default)> show databases; OK database_name default Time taken: 2.399 seconds, Fetched: 1 row(s)

總結(jié)

以上是生活随笔為你收集整理的数据仓库之电商数仓-- 2、业务数据采集平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： oracle 定时任务 job 调用存储
下一篇： C#结构体