awk数组统计
處理以下文件內容,將域名取出并根據域名進行計數排序處理:(百度和sohu面試題)
1
2
3
4
5
6
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
要求結果：
1
2
3
mp3.etiantian.org 1
post.etiantian.org 2
www.etiantian.org 3
?
思路：
取出域名
?以斜線為菜刀取出第二列（域名）
進行加工
創建一個數組
把第二列（域名）作為數組的下標
通過類似于i++的形式進行計算數量
統計后把結果輸出
?
答案：
1
awk -F "/+" '{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}' url.txt|sort -rnk2
演示：
1
2
3
4
[root@oldboyedu-40 awkfile]# awk -F "/+" '{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}' url.txt|sort -rnk2
www.etiantian.org 3
post.etiantian.org 2
mp3.etiantian.org 1
我們先不要著急整體分析這個結果，我們把這個結果分為幾個里程碑逐個擊破。
第一個里程碑-取出想要的內容
根據題目要求我們需要取出域名。awk -F "/+" ,需要用到+表示連續的。
1
2
3
4
5
6
7
[root@oldboyedu-40 awkfile]# awk -F "/+"'{print $2}' url.txt
www.etiantian.org
www.etiantian.org
post.etiantian.org
mp3.etiantian.org
www.etiantian.org
post.etiantian.org
第二個里程碑-創建數組
我們接下來創建數組，數組名字還是hotel，每個元素（房間）
1
2
3
4
5
6
7
8
[root@oldboyedu-40 awkfile]# awk -F "/+"'{hotel[$2]}' url.txt ? ? ? ? ? ? ? ? ###創建數組
[root@oldboyedu-40 awkfile]# awk -F "/+"'{hotel[$2];print $2}' url.txt ? ? ? ?##創建數組，并通過print 輸出元素名字（房間號碼）
www.etiantian.org
www.etiantian.org
post.etiantian.org
mp3.etiantian.org
www.etiantian.org
post.etiantian.org
第三個里程碑-進行統計
1
2
3
4
5
6
7
8
[root@oldboyedu-40 awkfile]# awk -F "/+"'{hotel[$2]++}' url.txt ? ? ? ###創建數組
[root@oldboyedu-40 awkfile]# awk -F "/+"'{hotel[$2]++;print $2,hotel[$2]}' url.txt ?##創建數組，并通過print 輸出元素名字（房間號碼），房間內容?
www.etiantian.org 1
www.etiantian.org 2
post.etiantian.org 1
mp3.etiantian.org 1
www.etiantian.org 3
post.etiantian.org 2
$2表示的是每一行的第二列，是一個變量。
hotel[$2]++這種形式類似于前面的i++，只不過把變量i換成了數組hotel[$2],相當于把原來的一個插間的房子，換成了一個公寓樓。
下面我們詳細分析下awk如何統計www.etiantian.org重復了多少次。
這里我們只關注www.etiantian.org重復的次數。
?
讀取第一行：
以"/+"連續的/為菜刀，切割$2就是www.etiantian.org，
把他放在數組中就是hotel["www.etiantian.org"]，
進行統計 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1
hotel酒店中www.etiantian.org房間原來沒有東西，可以理解為空的。所以hotel["www.etiantian.org"]=空+1 最后這個房間放入了數字1.
?
讀取第二行：
$2還是www.etiantian.org.
統計就是 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1
因為上面我們已經往hotel酒店的www.etiantian.org房間放入數字1，所以現在
hotel["www.etiantian.org"]=1+1hotel酒店www.etiantian.org房間內容應該是2
讀取第三行：
$2是post.etiantian.org.
不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是2不會變化。
讀取第四行：
$2是mp3.etiantian.org
不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是2不會變化。
讀取第五行：
$2還是www.etiantian.org.
統計就是 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1
因為上面我們已經往hotel酒店的www.etiantian.org房間放入數字2，所以現在
hotel["www.etiantian.org"]=2+1hotel酒店www.etiantian.org房間內容應該是3
讀取第六行：
$2是post.etiantian.org
不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是3不會變化。
?詳細過程表格
只查看hotel["www"]房間的內容
行號
$2的內容
hotel["www"]之前的內容
hotel["www"] = hotel["www"] + 1的過程
hotel["www"]之后的內容
1
www
空
hotel["www"] = 空 + 1
1
2
www
1
hotel["www"] = 1 + 1
2
3
post
2
不是www不進行加1
2
4
mp3
2
不是www不進行加1
2
5
www
2
hotel["www"] = 2 + 1
3
6
post
3
不是www不進行加1
3
總結：
最終結果是：
1
2
3
4
[root@oldboyedu-40 awkfile]# awk -F "/+" '{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}' url.txt|sort -rnk2
www.etiantian.org 3
post.etiantian.org 2
mp3.etiantian.org 1
優化后的結果：
1
2
3
4
[root@oldboyedu-40 awkfile]# awk -F "/+" '{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}' url.txt|sort -rnk2|column -t
www.etiantian.org ? 3
post.etiantian.org ?2
mp3.etiantian.org ? 1
可以通過，column 命令讓結果優雅一些，比awk的printf方便些。
轉載自http://lidao.blog.51cto.com/3388056/1912219
轉載于:https://blog.51cto.com/2690403167/1967591
總結
- 上一篇： 工作流学习——Activiti整体认识二
- 下一篇： 航院 1874 畅通工程续