nginx log response_python+pandas分析nginx日志的实例
生活随笔
收集整理的這篇文章主要介紹了
nginx log response_python+pandas分析nginx日志的实例
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
需求
通過分析nginx訪問日志,獲取每個接口響應時間最大值、最小值、平均值及訪問量。
實現原理
將nginx日志uriuriupstream_response_time字段存放到pandas的dataframe中,然后通過分組、數據統計功能實現。
實現
1.準備工作
2.代碼實現
#!/usr/local/miniconda2/envs/science/bin/python#-*- coding: utf-8 -*-#統計每個接口的響應時間#請提前創建log.txt并設置logdirimport sysimport osimport pandas as pdmulu=os.path.dirname(__file__)#日志文件存放路徑logdir="/home/test/python/log/log"#存放統計所需的日志相關字段logfile_format=os.path.join(mulu,"log.txt")print "read from logfile "for eachfile in os.listdir(logdir): logfile=os.path.join(logdir,eachfile) with open(logfile, 'r') as fo: for line in fo: spline=line.split() #過濾字段中異常部分 if spline[6]=="-": pass elif spline[6]=="GET": pass elif spline[-1]=="-": pass else: with open(logfile_format, 'a') as fw: fw.write(spline[6]) fw.write('') fw.write(spline[-1]) fw.write('')print "output panda"#將統計的字段讀入到dataframe中reader=pd.read_table(logfile_format,sep='',engine='python',names=["interface總結
以上是生活随笔為你收集整理的nginx log response_python+pandas分析nginx日志的实例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: c++吃豆人代码_山药豆的功效与作用营养
- 下一篇: 现在的饮料价格都好贵哦