使用CLONE TABLE方式实现同region不同可用区的MaxCompute
該文章主要針對于用戶同region不同賬戶之間的MaxCompute數據遷移方式,屬于遷移的方式可以有三種方式,一、添加MaxCompute數據源的方式進行數據遷移(該方式針對多個表配置同步節點較為繁瑣);二、使用tunnel方式結合代碼進行數據的遷移;三、使用clone table進行MaxCompute數據到另一MaxCompute之間的數據遷移。本案例主要介紹Clone table功能,Clone table跨賬號進行同步數據,需要所做的添加對應的主賬戶到對應的項目空間,并且賦予有對應創建表權限的用戶,最后實現不同MaxCompute之間的Clone table功能。
背景:
針對用戶在不同MaxCompute之間進行數據遷移,使用三種方式的第一種、第二種進行數據的遷移造成了很多用戶操作繁瑣,在這里給大家帶來一篇實踐不同賬號Clone table功能的一個范例,希望可以幫助到大家。
一、CLONE TABLE功能介紹
CLONE TABLE可以復制表數據到另一個表中,極大的提高了數據遷移的效率。本文為您介紹CLONE TABLE的使用。
使用限制
- 要求目標表與源表的Schema兼容。
- 支持分區表和非分區表。
- 目標表已存在時一次性復制分區的數量上限為10000個。
- 目標表不存在時無分區數量限制,滿足原子性。
命令格式
CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...]TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;具體使用情況請參閱CLONE TABLE功能介紹
二、添加用戶與賦予用戶權限
2.1進入需要同步數據的MaxCompute客戶端,并添加目標源MaxCompute的主賬號到目的空間
限制
只能將另一個主賬戶添加到本項目空間
涉及到的權限知識點可以參考MaxCompute與DataWorks權限介紹和示例
2.2查詢所有角色,并查看對應角色的權限設置,并賦予新增用戶的權限
三、在源MaxCompute創建對應的表,并插入數據
3.1在源MaxCompute創建對應的表并插入數據
CREATE TABLE IF NOT EXISTS git_project.testone(name STRING) STORED AS ALIORC; INSERT INTO testone VALUES ('tom'); INSERT INTO testone VALUES ('tony');四、clone數據,并確認數據是否clone是否成功
4.1在源MaxCompute執行命令
clone TABLE git_project.testone to WB_BestPractice_dev.testone IF EXISTS OVERWRITE;4.2登錄MaxCompute目的端,查看是否遷移完成
執行命令
歡迎加入“MaxCompute開發者社區2群”,點擊鏈接申請加入或掃描二維碼
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的使用CLONE TABLE方式实现同region不同可用区的MaxCompute的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 上云七步走,助力垂直电商降本增效
- 下一篇: 如何选择适合你的企业数据管理类产品