背景

大數據存儲場景：一般有點實力的公司，會自有機房，將自己的內部數據存儲在服務器集群當中，而一些前期沒考慮機房的公司，會選擇將數據存儲在公有云上，國內現在比較厲害的有阿里云、華為云、亞馬遜云等。

?

今天有個需求，客戶公司，他們的數據存儲在阿里云上，使用的是MaxCompute（原ODPS）來計算和分析數據。MaxCompute（原ODPS）是一項面向分析的大數據計算服務，它以Serverless架構提供快速、全托管的在線數據倉庫服務。

?

考慮到直連客戶數據庫的敏感性和數據的安全性，我們選擇直接將它dataworks下的幾張表的數據經過處理之后給同步到我們自己的庫中。

?

DataWorks | DataStudio控制臺介紹

?

1、登錄到產品服務中心：選擇Dataworks

?

?

?

2、選擇左側MaxCompute

?

?

?

3、選擇數據開發服務

?

4、表管理

?

這里可以看到，該賬號下賦予權限所能操作的所有表，雙擊，可查看及更改結構

?

?

5、sql執行

?

左側欄目第一個按鈕，業務流程中，maxcompute----數據開發---右鍵新建odps sql，

可以寫sql，并執行

?

在這里你可以測試數據，查看表結構、建表等操作

?

?

6、數據和表恢復

?

我之前不小心把人家一個表給刪了，drop用時一時爽，爽完簡直頭皮發麻；我drop的還是人家生產環境的表，一個表數據幾百萬，當時心里慌死了，/(ㄒoㄒ)/~~。

?

但轉頭一想，畢竟是阿里云，肯定有恢復機制，于是乎查到了資料，附上鏈接：

https://help.aliyun.com/document_detail/172397.html

?

?

縱使有恢復機制，但是還是要警戒，一定要慎用delete 、drop、truncate，慎用，慎用！一定要做好備份和恢復！！！！！！！！！！

?

數據同步

?

1、源數據源建測試表person

?

(因為我執行了兩次，所以有兩條記錄)

?

?

2、目標數據源建表

?

?

3、建立通道，選擇數據來源和數據去向。

?

?

4、執行，導入。如下圖：

?

?

注意點

• 阿里云的dataworks中的maxcompute 不能使用sql腳本處理后再導出

• 可以在源數據存儲處建立中間表

• odps中數據轉換，普通轉換? cast(field as type)

• odps中日期格式化轉換??to_date('',format)? 注意，format的格式是前面日期的格式，如to_date('今天是20210429','今天是yyyyMMdd')

• 數據恢復幫助文檔：https://help.aliyun.com/document_detail/172397.html

• 數據日期及其他函數支持文檔：https://helpcdn.aliyun.com/document_detail/48974.html#section-b3z-1fm-vdb

  更多學習、面試資料盡在微信公眾號：Hadoop大數據開發

  大數據學習交流QQ群：139809179

總結

以上是生活随笔為你收集整理的实战之从阿里云dataworks的maxcomputer中导出数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。