nxlog管理配置linux,IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）...
NXLog是個跨平臺日志傳輸插件，支持linux、windows平臺的大部分系統日志及常見的web日志，支持tcp、udp、http(s)等協議傳輸。
本文通過NXLog將IIS的日志以syslog的形式轉發至日志審計服務器。
一、系統環境
操作系統：Window Server2012 R2 DataCenter
IIS：8.5
NXLog：nxlog-ce-2.10.2150
二、NXLog的整體實現原理
NXLog整體采用插件架構模式，通過加載可調用的模塊， 實現從各種不同的日志來源讀取日志數據(Input)，對日志數據進行解析和轉換(Prosessor)，最后進行輸出(Output)。
IIS的日志為文本類型的逐行文件，各字段使用“空格符”進行分割，而其中的日期和時間分屬于兩個不同的字段。因此IIS的日志可以通過Input的im_file模塊進行讀取，并經過一定的處理后輸出(轉發)。
在NXLog的安裝路徑C:\Program Files\nxlog(或C:\Program Files (x86)\nxlog)下找到conf\nxlog.conf，用文本編輯器進行編輯。
三、具體配置方法
1. 查看本地IIS日志格式(在IIS管理器中可以對W3C日志記錄字段進行更改。)
1
2
3
4
#Software: Microsoft Internet Information Services 8.5
#Version: 1.0
#Date: 2020-04-26 06:14:01
#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) cs-host sc-status sc-substatus sc-win32-status time-taken
2.?設置W3C擴展日志格式(這里的第一個$datetime是將$date和$time進行了合并，具體見下面input中的操作。)
1
2
3
4
5
6
7
8
9
Module xm_csv
Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
FieldTypesstring,string,string,string,string,string,string,string,string,string,string,string,string,string,string
Delimiter' '
QuoteChar'"'
EscapeControl TRUE
UndefValue -
3. 增加Input日志來源
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Module?? im_file
# IIS日志目錄，文件名支持通配符，文件夾不支持
File"C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
SavePos? TRUE
# 忽略以#開頭的日志行
# 編碼轉換為GBK(我的日志審計服務器默認為GBK編碼，而IIS日志的編碼為UTF-8，請按實際情況設置)
# 利用替換法將日期與時間合并為一個字段
# 解析為CSV格式
# 通過xm_csv模塊對W3C擴展日志進行解析
# 將合并后的日期與時間作為EventTime(發生時間)，并增加GMT標志(+00:00)解決IIS8小時時差問題
Execif?$raw_event =~ /^#/ drop();????????????????????????????? \
else???????????????????????????????????????????????????????\
{????????????????????????????????????????????????????????? \
convert_fields("AUTO","GBK");?????????????????????????? \
$raw_event = replace($raw_event,' ','@', 1);?????????? \
w3c->parse_csv();??????????????????????????????????????? \
$raw_event = replace($raw_event,' ',"\t");???????????? \
$raw_event = replace($raw_event,'@',' ', 1);?????????? \
$EventTime = parsedate(replace($datetime,'@',' ', 1) +'+00:00'); \
}
4. 增加Output日志輸出(內網通過UDP方式輸出可以提高運行效率；如果需要高可靠性可采用TCP，但容易造成工作負載過大。使用to_syslog_bsd后，在input段設置的$EventTime才能有效。)
1
2
3
4
5
6
Module om_udp
Host 10.168.100.1
Port 514
Exec to_syslog_bsd();
5. 增加轉發規則
1
2
3
Path IISin => IISout
四、啟動NXLog
可以通過服務管理器services.msc中啟動nxlog服務，或者在安裝路徑中雙擊nxlog.exe運行。
五、排錯
檢查安裝路徑\data\nxlog.log日志文件，并進行排錯。如果提示如下內容(ERROR if-else failed)，大多數是因為段中配置的字段和日志中的字段不匹配。
1
2020-04-26 14:04:24 ERRORif-else?failed at line 43, character 315in?C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure'parse_csv'?failed at line 43, character 181in?C:\Program Files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; Too many fieldsin?CSV input, expected 15, got 16in?input'...此處略去具體日志內容...'
六、實際效果
七、完整配置文件：conf\nxlog.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
Panic Soft
#NoFreeOnExit TRUE
define ROOT???? C:\Program Files (x86)\nxlog
define CERTDIR? %ROOT%\cert
define CONFDIR? %ROOT%\conf
define LOGDIR?? %ROOT%\data
define LOGFILE? %LOGDIR%\nxlog.log
LogFile %LOGFILE%
Moduledir %ROOT%\modules
CacheDir? %ROOT%\data
Pidfile?? %ROOT%\data\nxlog.pid
SpoolDir? %ROOT%\data
Module xm_csv
Fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csUser-Agent, $cs-Referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
FieldTypesstring,string,string,string,string,string,string,string,string,string,string,string,string,string,string
Delimiter' '
QuoteChar'"'
EscapeControl TRUE
UndefValue -
Module????? xm_syslog
Module????? xm_charconv
AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
Module????? xm_exec
Module????? xm_fileop
# Check the size of our log file hourly, rotate if larger than 5MB
Every?? 1 hour
Execif?(file_exists('%LOGFILE%') and \
(file_size('%LOGFILE%') >= 5M)) \
file_cycle('%LOGFILE%', 8);
# Rotate our log file every week on Sunday at midnight
When??? @weekly
Execif?file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
Module?? im_file
# IIS日志目錄，文件名支持通配符，文件夾不支持
File"C:\inetpub\logs\LogFiles\W3SVC1\u_ex*.log"
SavePos? TRUE
# 忽略以#開頭的日志行
# 編碼轉換為GBK(我的日志審計服務器默認為GBK編碼，而IIS日志的編碼為UTF-8，請按實際情況設置)
# 合并日期與時間為一個字段
# 解析為CSV格式
# 通過xm_csv模塊對W3C擴展日志進行解析
# 將合并后的日期與時間作為EventTime(發生時間)，并增加GMT標志(+00:00)解決IIS8小時時差問題
Execif?$raw_event =~ /^#/ drop();????????????????????????????? \
else???????????????????????????????????????????????????????\
{????????????????????????????????????????????????????????? \
convert_fields("AUTO","GBK");?????????????????????????? \
$raw_event = replace($raw_event,' ','@', 1);?????????? \
w3c->parse_csv();??????????????????????????????????????? \
$raw_event = replace($raw_event,' ',"\t");???????????? \
$raw_event = replace($raw_event,'@',' ', 1);?????????? \
$EventTime = parsedate(replace($datetime,'@',' ', 1) +'+00:00'); \
}
Module om_udp
Host 10.168.100.1
Port 514
Exec to_syslog_bsd();
Path IISin => IISout
參考資料：
總結
以上是生活随笔為你收集整理的nxlog管理配置linux,IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）...的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 命名实体识别NER探索(5) Bert+
- 下一篇： php+log+iis,利用nxlog以