MaxCompute使用常见问题总结
摘要: Maxcompute常見問題的總結,方便廣大用戶可以快速排查問題
計費相關
存儲計費:按照存儲在 MaxCompute 的數據的容量大小進行階梯計費。
計算計費:MaxCompute 分按量后付費和按 CU 預付費兩種計算計費方式。
按量后付費:按量后付費方式針對 SQL 任務和 MapReduce 任務進行計費。
SQL 任務按量后付費:即 SQL 任務按 I/O 后付費。
MapReduce 按量后付費:即 MapReduce 任務按量進行計費。
按 CU 預付費:此方式僅在阿里云大數據平臺提供。
下載計費: MaxCompute 將按照下載的數據大小進行計費
注意是對公網下載收費,內網下載不收費
參考https://help.aliyun.com/document_detail/27989.html?spm=5176.doc45389.6.560.LYjhcl
SQL語法和標準sql區別
1,無事務控制
2,暫時不支持update/delete
3,不支持修改字段類型,不支持刪除字段
4,不支持 select from 多表
5,其他hive對標函數,官方文檔沒有的暫時不支持
更多參考
https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f
SQL限制
select 最大顯示10000行
想導出大于10000行參考
https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF
2,string字段最大8M
更多其他限制參考
https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p
java沙箱限制類問題
用戶經常問:
本地測試正常,在提交到odps后失敗,代碼一毛一樣
https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa
原因:
我們處于安全考慮,對一些第三方jar包做了限制
一般是fastjson這個包比較常見,回復口徑:
由于java沙箱限制,對一些第三方jar包由限制,fastjson的jar包被限制因為安全沙箱的原因無法使用。
https://help.aliyun.com/document_detail/27967.html
建議用gson
import com.google.gson.Gson;這個包試下
其他的jar的限制用戶遇到類似報錯可以提交工單咨詢
下圖是常見報錯例子
沒有啟用新類型flag
若想使用新數據類型,需在 SQL 語句前加語句:set odps.sql.type.system.odps2=true;
目前情況是需要加這個set,后續會省掉
https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU
新數據類型,以及新函數、函數返回值是新數據類型都需要set
如果沒有set,報錯現象
com.aliyun.odps.OdpsException: ODPS-0130071:[1,8] Semantic analysis exception - function or view udtf_recom cannot be resolved
找不到函數或者方法
oss和ots外部表創建,查詢失敗
1,檢查是否按照文檔授權
https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt
2,報錯類似
DDL syntax error:ODPS-0130071:Semantic analysis exception - unrecognized option ‘EXTERNAL’.
檢查:是否引用了新類型,也需要set
3,如果建表后查詢失敗
檢查用戶oss或者ots數據量是否巨大,
oss的object數量是否很多
單個object是否很大
參考文檔 https://www.atatech.org/articles/67977 理解
報錯例子 沒有授權
客戶端odpscmd 報錯
連接客戶端/訪問域名先看下域名
https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H
項目名稱
Ak信息
如果報錯找不到java類什么的
一般是客戶端java環境(暫時不支持java9),建議java 7和8
任務運行比較慢
1,如果是按量付費,請提交工單,如果是預付費,可以先看下cu對應的項目是否有大量作業或者比較大的作業,長期沒有執行完。
可以使用主賬戶執行命令: TOP INSTANCE;這種方式查看當前正在運行的任務(在客戶端(版本為0.29.0或以上)運行。)
下載最新版本的客戶端: https://help.aliyun.com/document_detail/27804.html?
您也可以通過這個工具查看項目下運行任務的狀態
https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007
如果是預付費cu用戶可以使用這個工具查看cu使用情況
https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv
2,數據傾斜
https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT
原文鏈接
干貨好文,請關注掃描以下二維碼:
總結
以上是生活随笔為你收集整理的MaxCompute使用常见问题总结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【干货索引】阿里云大数据计算服务MaxC
- 下一篇: Module 让 Terraform 使