了解antlr
? ? antlr是指可以根據(jù)輸入自動生成語法樹并可視化的顯示出來的開源語法分析器。ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內(nèi)的語言提供了一個通過語法描述來自動構(gòu)造自定義語言的識別器（recognizer），編譯器（parser）和解釋器（translator）的框架。
??
1 ANTLR簡介
ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內(nèi)的語言提供了一個通過語法描述來自動構(gòu)造自定義語言的識別器（recognizer），編譯器（parser）和解釋器（translator）的框架。ANTLR可以通過斷言（Predicate）解決識別沖突；支持動作（Action）和返回值（Return Value）來；更棒的是，它可以根據(jù)輸入自動生成語法樹并可視化的顯示出來（這一點我將在下面的例子中演示）。由此，計算機語言的翻譯變成了一項普通的任務(wù)—在這之前YACC/LEX顯得過于學(xué)院派，而以LL（k）為基礎(chǔ)的ANTLR雖然在效率上還略有不足，但是經(jīng)過近些年來的升級修改，使得ANTLR足以應(yīng)付現(xiàn)存的絕大多數(shù)應(yīng)用。感謝Terence Parr博士和他的同事們十幾年來的出色工作，他們?yōu)榫幾g理論的基礎(chǔ)和語言工具的構(gòu)造做了大量基礎(chǔ)性工作，也直接導(dǎo)致了ANTLR的產(chǎn)生。
1.1 詞法分析器（Lexer）
詞法分析器又稱為Scanner，Lexical analyser和Tokenizer。程序設(shè)計語言通常由關(guān)鍵字和嚴(yán)格定義的語法結(jié)構(gòu)組成。編譯的最終目的是將程序設(shè)計語言的高層指令翻譯成物理機器或虛擬機可以執(zhí)行的指令。詞法分析器的工作是分析量化那些本來毫無意義的字符流，將他們翻譯成離散的字符組（也就是一個一個的Token），包括關(guān)鍵字，標(biāo)識符，符號（symbols）和操作符供語法分析器使用。
1.2 語法分析器（Parser）
編譯器又稱為Syntactical analyser。在分析字符流的時候，Lexer不關(guān)心所生成的單個Token的語法意義及其與上下文之間的關(guān)系，而這就是Parser的工作。語法分析器將收到的Tokens組織起來，并轉(zhuǎn)換成為目標(biāo)語言語法定義所允許的序列。
無論是Lexer還是Parser都是一種識別器，Lexer是字符序列識別器而Parser是Token序列識別器。他們在本質(zhì)上是類似的東西，而只是在分工上有所不同而已。如下圖所示：
字符輸入流、tokens和AST之間的關(guān)系
1.3 樹分析器 (tree parser)
樹分析器可以用于對語法分析生成的抽象語法樹進行遍歷，并能執(zhí)行一些相關(guān)的操作。
1.4 ANTLR
ANTLR將上述結(jié)合起來，它允許我們定義識別字符流的詞法規(guī)則和用于解釋Token流的語法分析規(guī)則。然后，ANTLR將根據(jù)用戶提供的語法文件自動生成相應(yīng)的詞法/語法分析器。用戶可以利用他們將輸入的文本進行編譯，并轉(zhuǎn)換成其他形式（如AST—Abstract Syntax Tree，抽象的語法樹）。
?
一.ANTRL 是什么
ANTLR 是用JAVA寫的語言識別工具，它用來聲明語言的語法，簡稱為“元語言”(meta-language)。
ANTLR 語法識別一般分為二個階段：
1.詞法分析階段 （lexical analysis)
對應(yīng)的分析程序叫做?lexer?，負責(zé)將符號（token）分組成符號類（token class or token type）
2.解析階段
根據(jù)詞法，構(gòu)建出一棵分析樹（parse tree）或叫語法樹（syntax tree）?
?
?
?
ANTLR 的直觀印象，就像是在走迷宮，或者說是電路板更準(zhǔn)確，最終只有一條最優(yōu)路可通達開始與結(jié)束，中間的各種叉路與開關(guān)，就是我們所編寫的規(guī)則，下面是我編寫的一個SQL查詢的簡單實現(xiàn)，截取一部分圖示：
?
?
ANTLR 官方網(wǎng)址?http://www.antlr.org/
ANTLR 官方 Github?https://github.com/antlr/antlr4
大量語法文件例子?https://github.com/antlr/grammars-v4
?
二.主要應(yīng)用場景
1.定制特定領(lǐng)域語言（DSL)
類似hibernate中的HQL，用DSL來定義要執(zhí)行操作的高層語法，這種語法接近人可理解的語言，由DSL到計算機語言的翻譯則通過ANTLR來做，可在ANTLR的結(jié)構(gòu)語言中定義DSL命令具體要執(zhí)行何種操作。
2.文本解析?可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定義的報文格式。解析出來的信息需要做什么處理也可以在結(jié)構(gòu)文件中定義。
3.數(shù)學(xué)計算?加減乘除，線性方程，幾何運算，微積分等等
?
三.ANTRL 語法
1.結(jié)構(gòu)
/** Optional javadoc style comment */ grammar Name; options {...} import ... ;tokens {...} channels {...} // lexer only @actionName {...}rule1 // parser and lexer rules, possibly intermingled ... ruleN?
grammar
聲明語法頭，類似于java類的定義
grammar SPL;options
選項，如語言選項，輸出選項，回溯選項，記憶選項等等
options { output=AST; language=Java; }options { tokenVocab=MySqlLexer; }@actionName
動作（Actions）實際上是用目標(biāo)語言寫成的、嵌入到規(guī)則中的代碼（以花括號包裹）。它們通常直接操作輸入的標(biāo)號，但是他們也可以用來調(diào)用相應(yīng)的外部代碼。屬性，到目前為止我的理解還不多，感覺像是C++中類里面的成員。常用屬性或動作說明：
-
@header { package com.zetyun.aiops.antlr.test; }
這個動作很有用，即在運行腳本后，生成的類中自動帶上這個包路徑，避免了手動加入的麻煩。
-
@members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
-
@after {System.out.println("after matching rule; before finally");}
rule
這是核心，表示規(guī)則，以 “:” 開始， “;” 結(jié)束， 多規(guī)則以 "|" 分隔。
ID : [a-zA-Z0-9|'_']+ ; //數(shù)字 STR:'\'' ('\'\'' | ~('\''))* '\''; WS: [ \t\n\r]+ -> skip ; // 系統(tǒng)級規(guī)則 ，即忽略換行與空格sqlStatement: ddlStatement | dmlStatement | transactionStatement| replicationStatement | preparedStatement| administrationStatement | utilityStatement;?
2.注釋
- 單行、多行、javadoc風(fēng)格
- javadoc風(fēng)格只能在開頭使用
?
3.標(biāo)識符
- 符號(Token)名大寫開頭
- 解析規(guī)則(Parser rule)名小寫開頭,后面可以跟字母、數(shù)字、下劃線
?
四.遍歷模式
1、Listener (觀察者模式，通過結(jié)點監(jiān)聽，觸發(fā)處理方法)
- 程序員不需要顯示定義遍歷語法樹的順序，實現(xiàn)簡單
- 缺點，不能顯示控制遍歷語法樹的順序
- 動作代碼與文法產(chǎn)生式解耦，利于文法產(chǎn)生式的重用
- 沒有返回值，需要使用map、棧等結(jié)構(gòu)在節(jié)點間傳值
2、Visitor (訪問者模式，主動遍歷)
- 程序員可以顯示定義遍歷語法樹的順序
- 不需要與antlr遍歷類ParseTreeWalker一起使用，直接對tree操作
- 動作代碼與文法產(chǎn)生式解耦，利于文法產(chǎn)生式的重用
- visitor方法可以直接返回值，返回值的類型必須一致，不需要使用map這種節(jié)點間傳值方式，效率高
五.示例
計算器之四則運算（官方例子照抄）
1、新建g4文件，如Math.g4
grammar Math;@header{package com.zetyun.aiops.core.math;} prog : stat+;stat: expr NEWLINE # printExpr| ID '=' expr NEWLINE # assign| NEWLINE # blank;expr: expr op=('*'|'/') expr # MulDiv | expr op=('+'|'-') expr # AddSub | INT # int | ID # id | '(' expr ')' # parens ;MUL : '*' ; // assigns token name to '*' used above in grammar DIV : '/' ; ADD : '+' ; SUB : '-' ; ID : [a-zA-Z]+ ; INT : [0-9]+ ; NEWLINE:'\r'? '\n' ; WS : [ \t]+ -> skip;?
2、運行Math.g4文件，生成.java文件
?
如果沒有安裝eclipse antlr插件的話，根據(jù)如下指示操作即可：
help -> Eclipse Marketplace -> 搜索 Antlr -> 選中合適版本，安裝即可。
?
?
3、編寫測試文件，檢驗語法，驗證結(jié)果等
package com.zetyun.aiops.test;import org.antlr.v4.runtime.CharStream; import org.antlr.v4.runtime.CharStreams; import org.antlr.v4.runtime.CommonTokenStream; import org.antlr.v4.runtime.tree.ParseTree;import com.zetyun.aiops.core.math.MathLexer; import com.zetyun.aiops.core.math.MathParser;public class Math {public static void main(String[] args) {CharStream input = CharStreams.fromString("12*2+12\r\n");MathLexer lexer=new MathLexer(input);CommonTokenStream tokens = new CommonTokenStream(lexer);MathParser parser = new MathParser(tokens);ParseTree tree = parser.prog(); // parseMathVisitorTest vt=new MathVisitorTest();vt.visit(tree);}}?
4、語法樹分析
-
1) 下載antlr4運行包，這里我選擇的版本是 antlr-4.7-complete.jar
http://www.antlr.org/download.html
-
2) 新建運行腳本 antlr4.bat 和 grun.bat，放置于任意目錄，如 E:/tools/antlr4
antlr4.bat 內(nèi)容：
java org.antlr.v4.Tool %*grun.bat 內(nèi)容：
java org.antlr.v4.gui.TestRig %*注：antlr依賴于java，如果java環(huán)境變量沒有設(shè)置，請先行設(shè)置好。
-
3) 設(shè)置antlr4的系統(tǒng)環(huán)境變量(classpath 和 path)
classpath：
?
path (.bat所在目錄) :
?
-
4) 選擇要分析的g4文件，運行命令生成相關(guān)java文件與token文件
?
- 5) 編譯java文件
?
- 6) 分析語法樹
輸入grun命令回車，在命令行輸入你要測試的語法，再回車，按Ctrl+z 后回車。
D:\workspace\AntlrTest\test\math>grun Math expr -guiD:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui (2+3)*5-25/5 ^Z執(zhí)行完命令后，會出現(xiàn)GUI窗口：
?
通過語法樹，我們可以直觀的知道語法是否正確，以便隨時調(diào)整。
標(biāo)簽:?Antlr4 入門,?Antlr4 語法,?g4 語法,?Antlr4 操作說明
總結(jié)
- 上一篇： linux fcitx
- 下一篇： 全球及中国药店市场竞争现状调研与运营风险