當前位置：首頁 > 运维知识 > linux >内容正文

linux

Linux基础篇之文本、数据流处理命令（sed uniq grep awk wc）

發布時間：2025/3/21 linux 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 Linux基础篇之文本、数据流处理命令（sed uniq grep awk wc）小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1 awk：文本和數據處理工具

awk擅長于對數據進行分析并生成報告，簡單來說awk就是把文件逐行的讀入，以空格為默認分隔符將每行切片，切開的部分再進行各種分析處理。

使用方法：awk '{pattern + action}' {filenames} ?

其中pattern 表示awk 在數據中查找的內容，而action是在找到匹配內容時所執行的一系列命令。花括號（{}）不需要在程序中始終出現，但它們用于根據特定的模式對一系列指令進行分組。pattern就是要表示的正則表達式，用斜杠括起來。準備實例操作文件：netstat ?-t >> netstat.txt

1.1 打印輸出：print，格式化打印輸出：printf

awk '{print$1, $4}' netstat.txt

awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt

1.2 過濾記錄：awk '$3==0 && $6=="LISTEN"' netstat.txt

其中的“==”為比較運算符。其他比較運算符：!=,>, <, >=, <=

awk '$3>0 {print $0}' netstat.txt

加入表頭：內建變量NR

awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt

再加上格式化輸出 ? ? ? ? ? ? ? ? ? ??

awk '$3 ==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt

ps：awk的內建變量

$0	當前記錄（這個變量中存放著整個行的內容）
$1~$n	當前記錄的第n個字段，字段間由FS分隔
FS	輸入字段分隔符默認是空格或Tab
NF	當前記錄中的字段個數，就是有多少列
NR	已經讀出的記錄數，就是行號，從1開始，如果有多個文件話，這個值也是不斷累加中。
FNR	當前記錄數，與NR不同的是，這個值會是各個文件自己的行號
RS	輸入的記錄分隔符，默認為換行符
OFS	輸出字段分隔符，默認也是空格
ORS	輸出的記錄分隔符，默認為換行符
FILENAME	當前輸入文件的名字

輸出行號：awk '$3 ==0 && $6=="ESTABLISHED"|| NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR,$4,$5,$6}' netstat.txt

指定分隔符：awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd

或者awk -F: '{print $1,$3,$6}' /etc/passwd

以\t作為分隔符輸出：awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd

1.3 字符串匹配：～表示匹配模式開始，正則表達式匹配。

awk '$6 ~ /TIME/ || NR ==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

awk '$6 ~ /ESTABLISHED/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

awk '/LISTEN/' netstat.txt

使用“/TIME|ESTABLISHED/” 來匹配TIME 或者ESTABLISHED :

awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

模式取反：！～

awk '$6 !~ /TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

或者awk '!/WAIT/' netstat.txt

1.4 拆分文件：使用數據流重定向”>”

awk 'NR!=1 {print > $6}' netstat.txt ? ? ?NR!=1表示不處理表頭

把指定的列輸出到文件： ?awk 'NR!=1{print $4,$5 > $6}' netstat.txt

使用程序流進行條件拆分：if else

awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";

else if($6 ~ /LISTEN/) print > "2.txt";

else print > "3.txt"}' netstat.txt

1.5 統計

計算所有的C文件，CPP文件和H文件的文件大小總和：

ls -l *.cpp *.c*.h | awk '{sum+=$5} END {print sum}'

統計各個connection狀態的用法：使用數組

awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt

統計每個用戶的進程的占了多少內存：

ps aux| awk 'NR!=1{a[$1]+=$6;} END { for(i ina) print i ", " a[i]"KB";}'

數組：因為awk中數組的下標可以是數字和字母，數組的下標通常被稱為關鍵字(key)。值和關鍵字都存儲在內部的一張針對key/value應用hash的表格里。由于hash不是順序存儲，因此在顯示數組內容時會發現，它們并不是按照你預料的順序顯示出來的。數組和變量一樣，都是在使用時自動創建的，awk也同樣會自動判斷其存儲的是數字還是字符串。一般而言，awk中的數組用來從記錄中收集信息，可以用于計算總和、統計單詞以及跟蹤模板被匹配的次數等等。

1.6 使用腳本進行文本、數據處理

BEGIN、END關鍵字：BEGIN表示處理所有行之前的標識，END表示處理完所有行后的標識，具體語法：

BEGIN{ 這里面放的是執行前的語句}

END {這里面放的是處理完所有的行后要執行的語句}

{這里面放的是處理每一行時要執行的語句}

實例操作文件：cat cal.awk

#!/bin/awk -f

#運行前

BEGIN {

? ?math= 0

? ?english= 0

? ?computer= 0

? ?printf"NAME ? ?NO. ? ? MATH ?ENGLISH ?COMPUTER ? TOTAL\n"

? ?printf"---------------------------------------------\n"

}

#運行中

{

? ?math+=$3

? ?english+=$4

? ?computer+=$5

? ?printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5

}

#運行后

END{

? ?printf"---------------------------------------------\n"

? ?printf "TOTAL:%10d %8d %8d \n", math, english, computer

? ?printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR

}

執行：awk -f cal.awk score.txt

1.7 變量聲明和環境變量：使用-v參數進行變量聲明，ENVIRON關鍵字表示環境變量

$ x=5

$ y=10

$ export y ? ? ? ? ? ? ? ? ? ? ? ? ?#y被export為環境變量

$ echo $x $y

5 ? ?10

$awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt

2 sed：流編輯器

stream editor，流編輯器，用程序的方式來編輯文本，正則表達式進行模式匹配。sed本身是一個管道命令，可以分析standard input，也可以將數據進行替換、刪除、新增、頡取特定行等功能。

演示文本：catpets.txt

This is my cat

my cat's name is betty

This is my dog

my dog's name is frank

This is my fish

my fish's name is george

This is my goat

my goat's name is adam

使用：sed [-nefr] action

action:-i直接修改讀取的檔案內容，而不是由屏幕輸出，-r表示支持延伸型正則表達式的語法。

動作說明：[n1[,n2]] function n1,n2表示要選擇的行數，function包括：

a-新增，c-取代，d-刪除，i-插入，p-打印，s-取代（可以直接進行取代的工作，例如 1,20s/old/new/g）

2.1 用s命令進行替換

my字符串替換成Rango Chen’s

sed “s/my/Rango Chen's/g” pets.txt

ps:如果使用單引號，則無法通過\'來轉義。該命令并沒有對文件內容進行更改，只是把處理過后的內容輸出，如果你要寫回文件，你可以使用重定向：sed "s/my/Rango Chen's/g" pets.txt >Chen_pets.txt，或者使用-i選項：sed -i “s/my/Rango Chen's/g” pets.txt

s表示替換動作，/g表示一行上的替換所有的匹配。

在每一行最前面加上#：sed 's/^/#/g' pets.txt ? ? ? ?

在每一行的末尾加上---：sed 's/$/ --- /g' pets.txt ? ?

基礎的正則表示法特殊字符：

^ 表示一行的開頭。如：/^#/ 以#開頭的匹配。

$ 表示一行的結尾。如：/}$/ 以}結尾的匹配。

\< 表示詞首。如\<abc 表示以abc 為首的詞。

\> 表示詞尾。如 abc\> 表示以abc 結尾的詞。

\ ?將特殊字符進行轉義，還原其本身意義：grep -n ?\' pets.txt 搜尋含有單引號'的那一行。

. 表示任何單個字符。

* 表示某個字符出現了0次或多次。

[ ] 字符集合。如：[abc]表示匹配a或b或c，還有[a-zA-Z]表示匹配所有的26個字符。如果其中有^表示取反，如[^a]表示非a的字符

\{n,m\} 連續n到m個的“前一個RE字符” grep -n 'go\{2,3\}g' 1.txt ? 在g與g之間有2到3個o存在的字符串，亦即(goog)(gooog)

去掉某html中的tags：html.txt：

? ?<b>This</b>is what <span style="text-decoration:underline;">I</span> meant. ?Understand?

sed 's/<[^>]*>//g' html.txt

只替換第3到第6行的文本：sed "3,6s/my/your/g" pets.txt

只替換第3行的文本：sed "3s/my/your/g" pets.txt

只替換每一行的第一個s：sed 's/s/S/1' my.txt ? 1表示第一個

只替換每一行的第二個s：sed 's/s/S/2' my.txt ? ?2表示第二個

只替換第一行的第3個以后的s：sed 's/s/S/3g' my.txt

2.2 多個匹配

一次替換多個模式，每個模式之間用;進行間隔：sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt

上面的命令等價于：sed -e'1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

使用&來當做被匹配的變量，加入一些字符：sed 's/my/[&]/g' my.txt

此命令相當于在my兩邊加上[]

2.3 圓括號匹配

圓括號括起來的正則表達式所匹配的字符串會可以當成變量來使用，sed中使用的是\1,\2…

sed 's/This is my [,]?,.*is .?/\1:\2/g' my.txt

cat:betty

dog:frank

fish:george

goat:adam

2.4 基本知識點

1）Pattern Space：關于參數-n，表示取消默認輸出，相當于--quiet，--silent。在sed處理文件的時候，每一行都被保存在一個叫模式空間的臨時緩沖區中，除非行被刪除或者輸出被取消，否則所有被處理的行都將打印在屏幕上。接著模式空間被清空，并存入新的一行等待處理。

2）Address：[address[,address]][!]{cmd}，其中的!表示匹配成功后是否執行命令，address可以是一個數字，也可以是一個模式，可以通過逗號分隔兩個address表示兩個address的區間。

3）命令打包：cmd可以是多個，它們可以用分號分開，可以用大括號括起來作為嵌套命令

對3行到第6行，匹配/This/成功后，再匹配/fish/，成功后執行d命令：

sed '3,6 {/This/{/fish/d}}' pets.txt

從第一行到最后一行，如果匹配到This，則刪除之；如果前面有空格，則去除空格：

sed '1,${/This/d ; s/^ *//g}' pets.txt

4）HoldSpace：保持空間

g：將hold space中的內容拷貝到pattern space中，原來pattern space里的內容清除
G：將hold space中的內容append到pattern space\n后
h：將pattern space中的內容拷貝到hold space中，原來的hold space里的內容被清除
H：將pattern space中的內容append到hold space\n后
x：交換pattern space和hold space的內容

sed -e '/test/h' -e '$G‘ ?example：在這個例子里，匹配test的行被找到后，將存入模式空間，h命令將其復制并存入一個稱為保持緩存區的特殊緩沖區內。第二條語句的意思是，當到達最后一行后，G命令取出保持緩沖區的行，然后把它放回模式空間中，且追加到現在已經存在于模式空間中的行的末尾。在這個例子中就是追加到最后一行。簡單來說，任何包含test的行都被復制并追加到該文件的末尾。

sed -e '/test/h' -e '/check/x' example：互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。

5）執行sed腳本：sed -f test.sed

Sed對于腳本中輸入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多個命令，要用分號分隔。以#開頭的行為注釋行，且不能跨行。

ps: 去除空白行：sed '/^ *$/d' file

3 sort：文本內容排序

語　　法：sort [-bcdfimMnr] [-o<輸出文件>] [-t<分隔字符>] [+<起始欄位>-<結束欄位>] [--help] [--verison] [文件]

參　　數：
-b ? ?忽略每行前面開始出的空格字符。
-c ? ?檢查文件是否已經按照順序排序。
-d ? ?排序時，處理英文字母、數字及空格字符外，忽略其他的字符。
-f ? ?排序時，將小寫字母視為大寫字母。
-i ? ?排序時，除了040至176之間的ASCII字符外，忽略其他的字符。
-m ? ?將幾個排序好的文件進行合并。
-M ? ?將前面3個字母依照月份的縮寫進行排序。
-n ? ?依照數值的大小排序。
-o<輸出文件> ? ?將排序后的結果存入指定的文件。
-r ? ?以相反的順序來排序。
-t<分隔字符> ? ?指定排序時所用的欄位分隔字符。
+<起始欄位>-<結束欄位> ? ?以指定的欄位來排序，范圍由起始欄位到結束欄位的前一欄位。
--help ? ?顯示幫助。
--version ? ?顯示版本信息

4 uniq:Filter adjacent matching lines from INPUT (or standard input), writingto OUTPUT (or standard output)

顯示唯一的行，對于那些連續重復的行只顯示一次,以及計數重復的行

uniq：不加任何參數表示匹配第一次出現的那行

uniq -c：顯示重復的行的行數

uniq -u：僅顯示文件中沒有連續出現的行，唯一行

uniq -d：僅顯示文件中連續重復出現的行。

5 cut：片段頡取工具，可以從一個文本文件或者文本流中提取文本列

5.1 命令用法

cut -b list [-n] [file ...] ? ? ? ?

cut -c list [file ...]

cut -f list [-d delim][-s][file ...]

-b、-c、-f分別表示字節、字符、字段（即byte、character、field）；list表示-b,-c,-f操作范圍，-n表示具體數字，with -b: don’t split multibyte characters；file表示的自然是要操作的文本文件的名稱；delim（英文全寫：delimiter）表示分隔符，默認情況下為TAB；-s表示不包括那些不含分隔符的行（這樣有利于去掉注釋和標題）。--output-delimiter=字符串,使用指定的字符串作為輸出分界符，默認采用輸入的分界符。上面三種方式中，表示從指定的范圍中提取字節（-b）、或字符（-c）、或字段（-f）。

LIST的范圍：

N	只有第N項
N-	從第N項一直到行尾
N-M	從第N項到第M項(包括M)
-M	從一行的開始到第M項(包括M)
-	從一行的開始到結束的所有項

5.2 用法實例

頡取/etc/passwd文件中的前十五個用戶名：

cut -f1 -d: /etc/passwd | head -15

頡取/etc/passwd文件每一行前十個字節的內容：

cut -b 1-10 /etc/passwd

頡取該文件每一行第1，4，7個字節的內容：

cut -b 1,4,7 /etc/passwd

將/etc/passwd的分隔符換成“|”輸出：

cut -d: -f 1- -s --output-delimiter=”|” /etc/passwd

6 grep:頡取具有特定信息的行，逐行操作

用法：grep [-acinv] [--color=auto] '搜尋字符串' filename

-a : ? ?將binary檔案以text 檔案的方式搜尋數據

-c: ? ?計算找到'搜尋字符串'的次數

-i: ? ?忽略大小寫的不同,所以大小寫視為相同

-n : ? ?順便輸出行號

-v : ? ?反向選擇,亦即顯示出沒有'搜尋字符串'內容的那一行!

--color=auto: ? ?可以將找到的關鍵詞部分加上顏色的顯示!

7 wc：wordcount，printnewline, word, and byte counts for each file

用法：wc [-lwmc]

-l : ? ?僅列出行; ? ?

-w : ? ?僅列出多少字(英文單字);?

-m : ? ?多少字符;

-c: ? ?多少字節

不加任何參數表示全部列出。

實例：/etc/man.config 里面有多少相關字、行、字符數：

cat /etc/man.config | wc?

轉自：http://rangochen.blog.51cto.com/2445286/1373476

總結

以上是生活随笔為你收集整理的Linux基础篇之文本、数据流处理命令（sed uniq grep awk wc）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Xargs用法详解(原创)
下一篇： linux下使用find xargs g