?

1.窗口函數(shù)

1.LAG(col,n,DEFAULT) 用于統(tǒng)計(jì)窗口內(nèi)往上第n行值

第一個(gè)參數(shù)為列名，第二個(gè)參數(shù)為往上第n行（可選，默認(rèn)為1），第三個(gè)參數(shù)為默認(rèn)值（當(dāng)往上第n行為NULL時(shí)候，取默認(rèn)值，如不指定，則為NULL）

?

2.LEAD(col,n,DEFAULT) 用于統(tǒng)計(jì)窗口內(nèi)往下第n行值

第一個(gè)參數(shù)為列名，第二個(gè)參數(shù)為往下第n行（可選，默認(rèn)為1），第三個(gè)參數(shù)為默認(rèn)值（當(dāng)往下第n行為NULL時(shí)候，取默認(rèn)值，如不指定，則為NULL）

?

3.FIRST_VALUE(col,false)?用于統(tǒng)計(jì)窗口內(nèi)截止到當(dāng)前行，第一個(gè)出現(xiàn)的值

第一個(gè)參數(shù)為列名，第二個(gè)參數(shù)是否跳過null值（可選，默認(rèn)為false）

?

4.LAST_VALUE(col,false)?用于統(tǒng)計(jì)窗口內(nèi)截止到當(dāng)前行，最后一個(gè)出現(xiàn)的值

?

第一個(gè)參數(shù)為列名，第二個(gè)參數(shù)是否跳過null值（可選，默認(rèn)為false）

?

5.over子句中的partition by和order by

over(partition by col1[,col2...] )

over(order by by col1[,col2...] )

over(partition by col1[,col2...]? order by by col1[,col2...] )

?

6.over子句中的window子句(clause)

OVER with a window specification. Windows can be defined separately in a WINDOW clause. Window specifications support the following formats:

(ROWS | RANGE) BETWEEN ... PRECEDING AND ... FOLLOWING (ROWS | RANGE) BETWEEN ... PRECEDING AND ... PRECEDING (ROWS | RANGE) BETWEEN ... FOLLOWING AND ... FOLLOWING

When ORDER BY is specified with missing WINDOW clause, the WINDOW specification defaults to?RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW.

When both ORDER BY and WINDOW clauses are missing,?the WINDOW specification defaults to?ROW BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING.

range是邏輯窗口，是指定當(dāng)前行對(duì)應(yīng)值的范圍取值

rows是物理窗口，即根據(jù)order by 子句排序后，取的前N行及后N行的數(shù)據(jù)計(jì)算（與當(dāng)前行的值無關(guān)，只與排序后的行號(hào)相關(guān))

(UNBOUNDED | [num]) PRECEDING：從分區(qū)第一行頭開始，則為 unbounded。 N為：相對(duì)當(dāng)前行向前的偏移量 (UNBOUNDED | [num]) FOLLOWING：到該分區(qū)結(jié)束，則為 unbounded。N為：相對(duì)當(dāng)前行向后的偏移量 CURRENT ROW：當(dāng)前行，偏移量為0

?

2.分析函數(shù)

1.標(biāo)準(zhǔn)聚合函數(shù)

• COUNT
• SUM
• MIN
• MAX
• AVG

?

2.RANK?

排名不連續(xù)

?

3.DENSE_RANK

排名連續(xù),但是有重復(fù),保證同一個(gè)值對(duì)應(yīng)同一個(gè)排名。

?

4.ROW_NUMBER

排名連續(xù),無重復(fù),不保證同一個(gè)值對(duì)應(yīng)同一個(gè)排名。

?

5.CUME_DIST(累積分布)

?小于等于當(dāng)前值的行數(shù) 與 分組內(nèi)總行數(shù)的占比

?

6.PERCENT_RANK

排名百分比,RANK-1/總行數(shù)-1

?

7.NTILE

離散化分區(qū)

?

函數(shù)特點(diǎn)數(shù)據(jù)結(jié)果(升序,桶數(shù)=2)

RANK	排名不連續(xù)	2,2,5	1,1,3
DENSE_RANK	排名連續(xù),但是有重復(fù)	2,2,5	1,1,2
ROW_NUMBER	排名連續(xù),無重復(fù)	2,2,5	1,2,3
CUME_DIST	占比連續(xù),無重復(fù);小于等于當(dāng)前值的行數(shù) 與 分組內(nèi)總行數(shù)的占比	2,2,5	0.33,0.66,1.0
PERCENT_RANK	百分比有重復(fù),RANK-1/總行數(shù)-1	2,2,5	.0,.0,1.0
NTILE(n)	等量(頻)離散化,n是分桶數(shù)	2,2,2,3	1,1,2,2

?

3.應(yīng)用場(chǎng)景

累積,均值(歸一化),分組取topk,累和占比,離散化

?

轉(zhuǎn)載于:https://www.cnblogs.com/arachis/p/Hive_Window_Analysis.html

總結(jié)

以上是生活随笔為你收集整理的Hive 窗口分析函数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。