2019獨角獸企業(yè)重金招聘Python工程師標準>>>

1. 含義

類似于Java中的array。有序、可重復(fù)。

2. 場景

什么樣的數(shù)據(jù)，適合使用array類型來存儲呢？這里列舉了幾個我在開發(fā)中實際用到的場景。

2.1 標簽類的數(shù)據(jù)

為什么說標簽類數(shù)據(jù)適合使用array類型呢？
（1）標簽一般是一個只有key、沒有value的結(jié)構(gòu)；
（2）標簽的數(shù)量（枚舉值個數(shù)）會非常多；
（3）標簽的變化會比較頻繁；
（4）標簽會過期；
因此，比起“創(chuàng)建多個字段”、“使用指定分隔符分隔的字符串”、“使用map”等方法，使用array是更合適的。

2.2 對象列表

對象有多種固定的屬性，簡單的key-value格式無法滿足，可以使用array嵌套struct的方式定義。減少了維護數(shù)據(jù)字典的工作量。

3. 玩轉(zhuǎn)array

3.1 數(shù)組字段拆成多行

3.1.1 explode

select explode(t.arr) from (select array('a','b','c') as arr) t; col

a

b

c

select t1.id,t2.arr from (select 'xxx' as id,array('a','b','c') as arr) t1 lateral view explode(t1.arr) t2 as arr ; idarr

xxx	a
xxx	b
xxx	c

3.1.2 posexplode

select posexplode(t.arr) from (select array('a','b','c') as arr) t; posval

0	a
1	b
2	c

select t1.id,t2.serialno,t2.arr from (select 'xxx' as id,array('a','b','c') as arr) t1 lateral view posexplode(t1.arr) t2 as serialno,arr ; idserialnoarr

xxx	0	a
xxx	1	b
xxx	2	c

3.2 多行合并成數(shù)組

3.2.1 不去重

select collect_list(t.c1) as arr from ( select 'a' as c1 union all select 'a' as c1 union all select 'b' as c1) t; arr

["a","a","b"]

3.2.2 去重

select collect_set(t.c1) as arr from ( select 'a' as c1 union all select 'a' as c1 union all select 'b' as c1) t; arr

["a","b"]

3.3 數(shù)組拼成字符串

select concat_ws(',',t.arr) from (select array('a','b','c') as arr) t; _c0

a,b,c

3.4 字符串轉(zhuǎn)成數(shù)組

select split('a,b,c',','); _c0

["a","b","c"]

3.5 構(gòu)造數(shù)組

select array('aa','bb','cc'); _c0

["aa","bb","cc"]

3.6 數(shù)組元素排序

select sort_array(array('b','c','e','a','d')); _c0

["a","b","c","d","e"]

select sort_array(array(1,10,100,2,3)); _c0

[1,2,3,10,100]

3.7 數(shù)組中增加一項

select split(concat('d,',concat_ws(',',t.arr)),',') as arr from (select array('a','b','c') as arr) t; arr

["d","a","b","c"]

4. 常見用法

4.1 代替無法使用的with cube

例如現(xiàn)在有張下單記錄流水表，記錄著每一條下單記錄，包含字段“訂單ID”、“下單人ID”、“下單渠道(網(wǎng)站/app)”。
現(xiàn)在要統(tǒng)計“各渠道的下單人數(shù)和訂單數(shù)”，渠道維度包含“不限”、“網(wǎng)站”、“APP”三項。
一般做這些包含“不限”的維度的聚合計算時，都使用group by xxx with cube關(guān)鍵字。但是maxcompute中暫時還不支持這個關(guān)鍵字，所以我們換另一種方法來實現(xiàn)。

SELECT tt.`下單渠道`, COUNT(1) AS `下單人數(shù)`, SUM(tt.`下單量`) AS `下單量` FROM (SELECT t1.`下單人ID`, t2.`下單渠道`, SUM(t1.`下單量`) AS `下單量`FROM (SELECT t.`下單人ID`, t.`下單渠道`, SUM(t.`下單量`) AS `下單量`FROM (SELECT `訂單ID`, `下單人ID`, `下單渠道`, 1 AS `下單量`FROM `下單記錄流水表`) tGROUP BY t.`下單人ID`, t.`下單渠道`) t1LATERAL VIEW EXPLODE(array(t1.`下單渠道`, '不限')) t2 AS `下單渠道`GROUP BY t1.`下單人ID`, t2.`下單渠道` ) tt GROUP BY tt.`下單渠道`

4.2 數(shù)組是否相等

數(shù)組的相等或不等，無法通過“=”來判斷，因此要嘗試一些其他的方法。最常用的辦法，就是轉(zhuǎn)成字符串再比較。

4.2.1 考慮順序是否一致

直接轉(zhuǎn)成字符串后，比較是否相等

4.2.2 不考慮順序是否一致

先排序，再轉(zhuǎn)成字符串，然后比較是否相等

原文鏈接

轉(zhuǎn)載于:https://my.oschina.net/u/1464083/blog/3019854

總結(jié)

以上是生活随笔為你收集整理的maxcompute 2.0复杂数据类型之array的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。