前言

各位小伙伴大家好，接下來幾天時間，我會從多個角度對正則表達式進行系統(tǒng)闡述，讓你了解正則表達式的前世今生。

以下是博主整理的Linux知識專欄，喜歡的小伙伴可根據(jù)自己的需求自行訂閱。

Linux疑難雜癥解決指南

正則表達式基礎知識

除非你以前使用過正則表達式，否則你可能不熟悉此術(shù)語。但是，毫無疑問，你已經(jīng)使用過不涉及腳本的某些正則表達式概念。

例如，你很可能使用 ? 和 * 通配符來查找硬盤上的文件。通配符匹配文件名中的單個字符，而 * 通配符匹配零個或多個字符。像 data?.dat 這樣的模式將查找下列文件：

data1.dat data2.dat datax.dat dataN.dat

使用 * 字符代替 ? 字符擴大了找到的文件的數(shù)量。data*.dat 匹配下列所有文件：

data.dat data1.dat data2.dat data12.dat datax.dat dataXYZ.dat

盡管這種搜索方法很有用，但它還是有限的。通過理解 * 通配符的工作原理，引入了正則表達式所依賴的概念，但正則表達式功能更強大，而且更加靈活。

正則表達式的使用，可以通過簡單的辦法來實現(xiàn)強大的功能。下面先給出一個簡單的示例：

^.+@.+\\..+$

?

為什么使用正則表達式？

典型的搜索和替換操作要求你提供與預期的搜索結(jié)果匹配的確切文本。雖然這種技術(shù)對于對靜態(tài)文本執(zhí)行簡單搜索和替換任務可能已經(jīng)足夠了，但它缺乏靈活性，若采用這種方法搜索動態(tài)文本，即使不是不可能，至少也會變得很困難。

通過使用正則表達式，可以：

• 測試字符串內(nèi)的模式。
  例如，可以測試輸入字符串，以查看字符串內(nèi)是否出現(xiàn)電話號碼模式或信用卡號碼模式。這稱為數(shù)據(jù)驗證。
• 替換文本。
  可以使用正則表達式來識別文檔中的特定文本，完全刪除該文本或者用其他文本替換它。
• 基于模式匹配從字符串中提取子字符串。
  可以查找文檔內(nèi)或輸入域內(nèi)特定的文本。

例如，你可能需要搜索整個網(wǎng)站，刪除過時的材料，以及替換某些 HTML 格式標記。在這種情況下，可以使用正則表達式來確定在每個文件中是否出現(xiàn)該材料或該 HTML 格式標記。此過程將受影響的文件列表縮小到包含需要刪除或更改的材料的那些文件。然后可以使用正則表達式來刪除過時的材料。最后，可以使用正則表達式來搜索和替換標記。

發(fā)展歷史

正則表達式的"祖先"可以一直上溯至對人類神經(jīng)系統(tǒng)如何工作的早期研究。Warren McCulloch 和 Walter Pitts 這兩位神經(jīng)生理學家研究出一種數(shù)學方式來描述這些神經(jīng)網(wǎng)絡。

1956 年, 一位叫 Stephen Kleene 的數(shù)學家在 McCulloch 和 Pitts 早期工作的基礎上，發(fā)表了一篇標題為"神經(jīng)網(wǎng)事件的表示法"的論文，引入了正則表達式的概念。正則表達式就是用來描述他稱為"正則集的代數(shù)"的表達式，因此采用"正則表達式"這個術(shù)語。

隨后，發(fā)現(xiàn)可以將這一工作應用于使用 Ken Thompson 的計算搜索算法的一些早期研究，Ken Thompson 是 Unix 的主要發(fā)明人。正則表達式的第一個實用應用程序就是 Unix 中的 qed 編輯器。

如他們所說，剩下的就是眾所周知的歷史了。從那時起直至現(xiàn)在正則表達式都是基于文本的編輯器和搜索工具中的一個重要部分。

應用領域

目前，正則表達式已經(jīng)在很多軟件中得到廣泛的應用，包括 *nix（Linux, Unix等）、HP 等操作系統(tǒng)，PHP、C#、Java 等開發(fā)環(huán)境，以及很多的應用軟件中，都可以看到正則表達式的影子。

正則表達式 -?語法

正則表達式(regular expression)描述了一種字符串匹配的模式，可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。

• 列目錄時，　dir *.txt或ls *.txt中的*.txt就不是一個正則表達式,因為這里*與正則式的*的含義是不同的。
• 構(gòu)造正則表達式的方法和創(chuàng)建數(shù)學表達式的方法一樣。也就是用多種元字符與運算符可以將小的表達式結(jié)合在一起來創(chuàng)建更大的表達式。正則表達式的組件可以是單個的字符、字符集合、字符范圍、字符間的選擇或者所有這些組件的任意組合。

正則表達式是由普通字符（例如字符 a 到 z）以及特殊字符（稱為"元字符"）組成的文字模式。模式描述在搜索文本時要匹配的一個或多個字符串。正則表達式作為一個模板，將某個字符模式與所搜索的字符串進行匹配。

普通字符

普通字符包括沒有顯式指定為元字符的所有可打印和不可打印字符。這包括所有大寫和小寫字母、所有數(shù)字、所有標點符號和一些其他符號。

非打印字符

非打印字符也可以是正則表達式的組成部分。下表列出了表示非打印字符的轉(zhuǎn)義序列：

字符描述

\cx	匹配由x指明的控制字符。例如， \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 'c' 字符。
\f	匹配一個換頁符。等價于 \x0c 和 \cL。
\n	匹配一個換行符。等價于 \x0a 和 \cJ。
\r	匹配一個回車符。等價于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、換頁符等等。等價于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等價于 [^ \f\n\r\t\v]。
\t	匹配一個制表符。等價于 \x09 和 \cI。
\v	匹配一個垂直制表符。等價于 \x0b 和 \cK。

特殊字符

所謂特殊字符，就是一些有特殊含義的字符，如上面說的"*.txt"中的*，簡單的說就是表示任何字符串的意思。如果要查找文件名中有*的文件，則需要對*進行轉(zhuǎn)義，即在其前加一個\。ls \*.txt。

許多元字符要求在試圖匹配它們時特別對待。若要匹配這些特殊字符，必須首先使字符"轉(zhuǎn)義"，即，將反斜杠字符 (\) 放在它們前面。下表列出了正則表達式中的特殊字符：

特別字符描述

$	匹配輸入字符串的結(jié)尾位置。如果設置了 RegExp 對象的 Multiline 屬性，則 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身，請使用 \$。
( )	標記一個子表達式的開始和結(jié)束位置。子表達式可以獲取供以后使用。要匹配這些字符，請使用 \( 和 \)。
*	匹配前面的子表達式零次或多次。要匹配 * 字符，請使用 \*。
+	匹配前面的子表達式一次或多次。要匹配 + 字符，請使用 \+。
.	匹配除換行符 \n之外的任何單字符。要匹配 .，請使用 \。
[	標記一個中括號表達式的開始。要匹配 [，請使用 \[。
?	匹配前面的子表達式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使用 \?。
\	將下一個字符標記為或特殊字符、或原義字符、或向后引用、或八進制轉(zhuǎn)義符。例如， 'n' 匹配字符 'n'。'\n' 匹配換行符。序列 '\\' 匹配 "\"，而 '\(' 則匹配 "("。
^	匹配輸入字符串的開始位置，除非在方括號表達式中使用，此時它表示不接受該字符集合。要匹配 ^ 字符本身，請使用 \^。
{	標記限定符表達式的開始。要匹配 {，請使用 \{。
|	指明兩項之間的一個選擇。要匹配 |，請使用 \|。

限定符

限定符用來指定正則表達式的一個給定組件必須要出現(xiàn)多少次才能滿足匹配。有*或+或?或{n}或{n,}或{n,m}共6種。

正則表達式的限定符有：

字符描述

*	匹配前面的子表達式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等價于{0,}。
+	匹配前面的子表達式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價于 {1,}。
?	匹配前面的子表達式零次或一次。例如，"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等價于 {0,1}。
{n}	n 是一個非負整數(shù)。匹配確定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的兩個 o。
{n,}	n 是一個非負整數(shù)。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等價于 'o+'。'o{0,}' 則等價于 'o*'。
{n,m}	m 和 n 均為非負整數(shù)，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價于 'o?'。請注意在逗號和兩個數(shù)之間不能有空格。

由于章節(jié)編號在大的輸入文檔中會很可能超過九，所以你需要一種方式來處理兩位或三位章節(jié)編號。限定符給你這種能力。下面的正則表達式匹配編號為任何位數(shù)的章節(jié)標題：

/Chapter [1-9][0-9]*/

請注意，限定符出現(xiàn)在范圍表達式之后。因此，它應用于整個范圍表達式，在本例中，只指定從 0 到 9 的數(shù)字（包括 0 和 9）。

這里不使用 + 限定符，因為在第二個位置或后面的位置不一定需要有一個數(shù)字。也不使用？字符，因為它將章節(jié)編號限制到只有兩位數(shù)。你需要至少匹配 Chapter 和空格字符后面的一個數(shù)字。

如果你知道章節(jié)編號被限制為只有 99 章，可以使用下面的表達式來至少指定一位但至多兩位數(shù)字。

/Chapter [0-9]{1,2}/

上面的表達式的缺點是，大于 99 的章節(jié)編號仍只匹配開頭兩位數(shù)字。另一個缺點是 Chapter 0 也將匹配。只匹配兩位數(shù)字的更好的表達式如下：

/Chapter [1-9][0-9]?/

或

/Chapter [1-9][0-9]{0,1}/

*、+和?限定符都是貪婪的，因為它們會盡可能多的匹配文字，只有在它們的后面加上一個?就可以實現(xiàn)非貪婪或最小匹配。

例如，你可能搜索 HTML 文檔，以查找括在 H1 標記內(nèi)的章節(jié)標題。該文本在你的文檔中如下：

<H1>Chapter 1 – Introduction to Regular Expressions</H1>

下面的表達式匹配從開始小于符號 (<) 到關(guān)閉 H1 標記的大于符號 (>) 之間的所有內(nèi)容。

/<.*>/

如果你只需要匹配開始 H1 標記，下面的"非貪心"表達式只匹配 <H1>。

/<.*?>/

通過在 *、+ 或 ? 限定符之后放置 ?，該表達式從"貪心"表達式轉(zhuǎn)換為"非貪心"表達式或者最小匹配。

定位符

定位符使你能夠?qū)⒄齽t表達式固定到行首或行尾。它們還使你能夠創(chuàng)建這樣的正則表達式，這些正則表達式出現(xiàn)在一個單詞內(nèi)、在一個單詞的開頭或者一個單詞的結(jié)尾。

定位符用來描述字符串或單詞的邊界，^和$分別指字符串的開始與結(jié)束，\b描述單詞的前或后邊界，\B表示非單詞邊界。

正則表達式的限定符有：

字符描述

^	匹配輸入字符串開始的位置。如果設置了 RegExp 對象的 Multiline 屬性，^ 還會與 \n 或 \r 之后的位置匹配。
$	匹配輸入字符串結(jié)尾的位置。如果設置了 RegExp 對象的 Multiline 屬性，$ 還會與 \n 或 \r 之前的位置匹配。
\b	匹配一個字邊界，即字與空格間的位置。
\B	非字邊界匹配。

注意：不能將限定符與定位點一起使用。由于在緊靠換行或者字邊界的前面或后面不能有一個以上位置，因此不允許諸如 ^* 之類的表達式。

若要匹配一行文本開始處的文本，請在正則表達式的開始使用 ^ 字符。不要將 ^ 的這種用法與中括號表達式內(nèi)的用法混淆。

若要匹配一行文本的結(jié)束處的文本，請在正則表達式的結(jié)束處使用 $ 字符。

若要在搜索章節(jié)標題時使用定位點，下面的正則表達式匹配一個章節(jié)標題，該標題只包含兩個尾隨數(shù)字，并且出現(xiàn)在行首：

/^Chapter [1-9][0-9]{0,1}/

真正的章節(jié)標題不僅出現(xiàn)行的開始處，而且它還是該行中僅有的文本。它即出現(xiàn)在行首又出現(xiàn)在同一行的結(jié)尾。下面的表達式能確保指定的匹配只匹配章節(jié)而不匹配交叉引用。通過創(chuàng)建只匹配一行文本的開始和結(jié)尾的正則表達式，就可做到這一點。

/^Chapter [1-9][0-9]{0,1}$/

匹配字邊界稍有不同，但向正則表達式添加了很重要的能力。字邊界是單詞和空格之間的位置。非字邊界是任何其他位置。下面的表達式匹配單詞 Chapter 的開頭三個字符，因為這三個字符出現(xiàn)字邊界后面：

/\bCha/

\b 字符的位置是非常重要的。如果它位于要匹配的字符串的開始，它在單詞的開始處查找匹配項。如果它位于字符串的結(jié)尾，它在單詞的結(jié)尾處查找匹配項。例如，下面的表達式匹配單詞 Chapter 中的字符串 ter，因為它出現(xiàn)在字邊界的前面：

/ter\b/

下面的表達式匹配 Chapter 中的字符串 apt，但不匹配 aptitude 中的字符串 apt：

/\Bapt/

字符串 apt 出現(xiàn)在單詞 Chapter 中的非字邊界處，但出現(xiàn)在單詞 aptitude 中的字邊界處。對于 \B 非字邊界運算符，位置并不重要，因為匹配不關(guān)心究竟是單詞的開頭還是結(jié)尾。

選擇

用圓括號將所有選擇項括起來，相鄰的選擇項之間用|分隔。但用圓括號會有一個副作用，是相關(guān)的匹配會被緩存，此時可用?:放在第一個選項前來消除這種副作用。

其中?:是非捕獲元之一，還有兩個非捕獲元是?=和?!，這兩個還有更多的含義，前者為正向預查，在任何開始匹配圓括號內(nèi)的正則表達式模式的位置來匹配搜索字符串，后者為負向預查，在任何開始不匹配該正則表達式模式的位置來匹配搜索字符串。

反向引用

對一個正則表達式模式或部分模式兩邊添加圓括號將導致相關(guān)匹配存儲到一個臨時緩沖區(qū)中，所捕獲的每個子匹配都按照在正則表達式模式中從左到右出現(xiàn)的順序存儲。緩沖區(qū)編號從 1 開始，最多可存儲 99 個捕獲的子表達式。每個緩沖區(qū)都可以使用 '\n' 訪問，其中 n 為一個標識特定緩沖區(qū)的一位或兩位十進制數(shù)。

可以使用非捕獲元字符 '?:'、'?=' 或 '?!' 來重寫捕獲，忽略對相關(guān)匹配的保存。

反向引用的最簡單的、最有用的應用之一，是提供查找文本中兩個相同的相鄰單詞的匹配項的能力。以下面的句子為例：

Is is the cost of of gasoline going up up?

上面的句子很顯然有多個重復的單詞。如果能設計一種方法定位該句子，而不必查找每個單詞的重復出現(xiàn)，那該有多好。下面的正則表達式使用單個子表達式來實現(xiàn)這一點：

/\b([a-z]+) \1\b/gi

捕獲的表達式，正如 [a-z]+ 指定的，包括一個或多個字母。正則表達式的第二部分是對以前捕獲的子匹配項的引用，即，單詞的第二個匹配項正好由括號表達式匹配。\1 指定第一個子匹配項。字邊界元字符確保只檢測整個單詞。否則，諸如"is issued"或"this is"之類的詞組將不能正確地被此表達式識別。

正則表達式后面的全局標記 (g) 指示，將該表達式應用到輸入字符串中能夠查找到的盡可能多的匹配。表達式的結(jié)尾處的不區(qū)分大小寫 (i) 標記指定不區(qū)分大小寫。多行標記指定換行符的兩邊可能出現(xiàn)潛在的匹配。

反向引用還可以將通用資源指示符 (URI) 分解為其組件。假定你想將下面的 URI 分解為協(xié)議（ftp、http 等等）、域地址和頁/路徑：

http://www.w3cschool.cn:80/html/html-tutorial.html

下面的正則表達式提供該功能：

/(\w+):\/\/([^/:]+)(:\d*)?([^# ]*)/

第一個括號子表達式捕獲 Web 地址的協(xié)議部分。該子表達式匹配在冒號和兩個正斜杠前面的任何單詞。第二個括號子表達式捕獲地址的域地址部分。子表達式匹配 / 或 : 之外的一個或多個字符。第三個括號子表達式捕獲端口號（如果指定了的話）。該子表達式匹配冒號后面的零個或多個數(shù)字。只能重復一次該子表達式。最后，第四個括號子表達式捕獲 Web 地址指定的路徑和/或頁信息。該子表達式能匹配不包括 # 或空格字符的任何字符序列。

將正則表達式應用到上面的 URI，各子匹配項包含下面的內(nèi)容：

• 第一個括號子表達式包含"http"
• 第二個括號子表達式包含"www.w3cschool.cn"
• 第三個括號子表達式包含":80"
• 第四個括號子表達式包含"/html/html-tutorial.html"

寫在最后

博主會在后續(xù)博文中更新正則表達式相關(guān)知識，喜歡的請一鍵三連吧。

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的万物之始正则表达式全解析三部曲（上篇）-正则表达式基础知识及语法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。