當前位置：首頁 > 编程语言 > python >内容正文

python

Python3之logging输出写入日志

發布時間：2025/3/11 python 19 豆豆

生活随笔收集整理的這篇文章主要介紹了 Python3之logging输出写入日志小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Python3之logging模塊淺析

Python3之logging模塊淺析
- 簡單用法
- 日志與控制臺同時輸出
  - 一個同時輸出到屏幕、文件的完成例子
  - 日志文件截取
- 日志重復打印問題解決
  - 問題分析
- 解決方案
  - 1.使用不同的日志對象
  - 2.及時清理（logger.handlers.clear）
  - 3.使用前先判斷是否有相同的handler對象
  - 總結：

Python3之logging模塊淺析

很多程序都有記錄日志的需求，并且日志中包含的信息即有正常的程序訪問日志，還可能有錯誤、警告等信息輸出，python的logging模塊提供了標準的日志接口，你可以通過它存儲各種格式的日志，logging的日志可以分為 debug(), info(), warning(), error() and critical()5個級別，下面我們看一下怎么用。

簡單用法

在控制臺進行顯示 logging.info('xxxxx') 有以下五個級別：debug、info、warning、error、critical

import logginglogging.warning("warning:user/passwd is invalid") logging.critical("critical:server is down")

在日志中輸出 logging.basicConfig()，日志級別同樣是有五個

import logginglogging.basicConfig(filename='access.log',level=logging.INFO,format='%(asctime)s %(message)s',datefmt='%m/%d/%Y %I:%M:%S %p')#basicConfig 方法對日志進本信息進行配置，文件名、日志級別、輸出格式等，但必須以key-value形式使用 logging.debug('This message should go to the log file?') # 由于上面已經將日志級別設置為INFO，故低于INFO的不會被打印 logging.info('So should this') logging.warning('And this, too')

format自定義格式，下表中均支持

%(name)sLogger的名字

%(levelno)s	數字形式的日志級別
%(levelname)s	文本形式的日志級別
%(pathname)s	調用日志輸出函數的模塊的完整路徑名，可能沒有
%(filename)s	調用日志輸出函數的模塊的文件名
%(module)s	調用日志輸出函數的模塊名
%(funcName)s	調用日志輸出函數的函數名
%(lineno)d	調用日志輸出函數的語句所在的代碼行
%(created)f	當前時間，用UNIX標準的表示時間的浮點數表示
%(relativeCreated)d	輸出日志信息時的，自Logger創建以來的毫秒數
%(asctime)s	字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒
%(thread)d	線程ID。可能沒有
%(threadName)s	線程名。可能沒有
%(process)d	進程ID。可能沒有
%(message)s	用戶輸出的消息

日志與控制臺同時輸出

Python 使用logging模塊記錄日志涉及四個主要類，使用官方文檔中的概括最為合適：

logger提供了應用程序可以直接使用的接口；
handler將(logger創建的)日志記錄發送到合適的目的輸出；
filter提供了細度設備來決定輸出哪條日志記錄；
formatter決定日志記錄的最終輸出格式

一個同時輸出到屏幕、文件的完成例子

可按以下步驟進行創建

生成logger對象

生成handler 對象

把handler 對象綁定到logger對象

生成formatter 對象

將formatter對象綁定到handler對象

實現代碼如下：

# -*- coding:utf-8 -*-import loggingdef logger(log_obj):logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()log_file = "access.log"file_handle = logging.FileHandler(log_file)file_handle.setLevel(logging.WARNING)formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')console_handle.setFormatter(formatter)file_handle.setFormatter(formatter)logger.addHandler(console_handle)logger.addHandler(file_handle)return logger

日志文件截取

按照大小截取
logging.handlers.RotatingFileHandler()
當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的函數是：

RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。

maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。

backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。

按照時間截取
logging.handlers.TimedRotatingFileHandler()
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的函數是：

TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。

interval是時間間隔。

when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：

S 秒
M 分
H 小時
D 天
W 每星期（interval==0時代表星期一）
midnight 每天凌晨

代碼實現如下:

# -*- coding:utf-8 -*-import logging from logging import handlerslogger = logging.getLogger(__name__)log_file_size = "sizelog.log" log_file_time = "timelog.log" file_handler_size = logging.handlers.RotatingFileHandler(filename=log_file_size,maxBytes=10,backupCount=3)file_handler_time = logging.handlers.TimedRotatingFileHandler(filename=log_file_time,when="S",interval=5,backupCount=3)formatter = logging.Formatter('%(asctime)s %(module)s:%(lineno)d %(message)s')file_handler_size.setFormatter(formatter) file_handler_time.setFormatter(formatter)logger.addHandler(file_handler_size) logger.addHandler(file_handler_time)logger.warning("test1") logger.warning("test12") logger.warning("test13") logger.warning("test14")

日志重復打印問題解決

以下內容根據同學分享內容進行整理

在python中函數編程可以大大的減少重復代碼量，在打印日志時，為避免重復造輪子，可使用創建log函數進行調用。

# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):print(logging._handlerList)logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1 ')my_logger('access').error('say 2 ')my_logger('access').error('say 3 ')

恩就這樣定義好了一個log 函數，那我們來執行一下：

2018-06-24 13:25:54,411 - access.log - ERROR - say 1 2018-06-24 13:25:54,412 - access.log - ERROR - say 2 2018-06-24 13:25:54,412 - access.log - ERROR - say 2 2018-06-24 13:25:54,412 - access.log - ERROR - say 3 2018-06-24 13:25:54,412 - access.log - ERROR - say 3 2018-06-24 13:25:54,412 - access.log - ERROR - say 3

What's the fuck！為什么日志輸出依次遞增!

問題分析

實際上logger = logging.getLogger(log_obj)在執行時，沒有每次生成一個新的logger，而是先檢查內存中是否存在一個叫做‘log_obj’的logger對象，存在則取出，不存在則新建。

實例化的logger對象具有‘handlers’這樣一個屬性來存儲,我們打印看看存儲的是什么信息

# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)print(logger.handlers) logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1 ')my_logger('access').error('say 2 ')my_logger('access').error('say 3 ') [] 2018-06-24 13:44:47,239 - access.log - ERROR - say 1 [<StreamHandler <stderr> (NOTSET)>] 2018-06-24 13:45:22,597 - access.log - ERROR - say 2 2018-06-24 13:45:22,597 - access.log - ERROR - say 2 [<StreamHandler <stderr> (NOTSET)>, <StreamHandler <stderr> (NOTSET)>] 2018-06-24 13:45:32,877 - access.log - ERROR - say 3 2018-06-24 13:45:32,877 - access.log - ERROR - say 3 2018-06-24 13:45:32,877 - access.log - ERROR - say 3

從結果中可以看出：

logger.handlers最初是一個空列表，執行logger.addHandler(console_handle)添加一個StreamHandler，輸出一條日志

在第二次被調用時，logger.handlers已經存在一個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個StreamHandler，此時的logger有兩個個StreamHandler，輸出兩條重復的日志

在第三次被調用時，logger.handlers已經存在兩個StreamHandler，再次執行logger.addHandler(console_handle)就會再次添加一個，此時的logger有三個StreamHandler，輸出三條重復的日志

解決方案

1.使用不同的日志對象

運行結果：

2018-06-24 13:51:33,084 - access1 - ERROR - say 1 2018-06-24 13:51:33,084 - access2 - ERROR - say 2 2018-06-24 13:51:33,085 - access3 - ERROR - say 3

2.及時清理（logger.handlers.clear）

# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)logger.handlers.clear()#print(logger.handlers)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1 ')my_logger('access').error('say 2 ')my_logger('access').error('say 3 ')

運行結果如下:

2018-06-24 13:56:38,357 - access - ERROR - say 1 2018-06-24 13:56:38,358 - access - ERROR - say 2 2018-06-24 13:56:38,358 - access - ERROR - say 3

還有一種通過清理handler的方法但是兼容性較差

# 這種寫法下的可以使用removeHandler方法或logger.handlers.pop()(logger.handlers.clear也可以使用在這種寫法的函數內) # -*- coding:utf-8 -*-import loggingdef my_logger(log_obj, msg):logger = logging.getLogger(log_obj)#print(logger.handlers)logger.setLevel(logging.INFO)console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)logger.error(msg)logger.removeHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access', 'say 1')my_logger('access', 'say 2')my_logger('access', 'say 3')

運行結果：

2018-06-24 14:02:08,390 - access - ERROR - say 1 2018-06-24 14:02:08,390 - access - ERROR - say 2 2018-06-24 14:02:08,390 - access - ERROR - say 3

3.使用前先判斷是否有相同的handler對象

# -*- coding:utf-8 -*-import loggingdef my_logger(log_obj):logger = logging.getLogger(log_obj)logger.setLevel(logging.INFO)# 判斷logger是否已經添加過handler，是則直接返回logger對象，否則執行handler設定以及addHandler(console_handle)if not logger.handlers:console_handle = logging.StreamHandler()formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s ')console_handle.setFormatter(formatter)logger.addHandler(console_handle)return loggerif __name__ == '__main__':my_logger('access').error('say 1')my_logger('access').error('say 2')my_logger('access').error('say 3')

總結：

第一次遇到這個問題的時候，沒有找到原因，使用了創建多個日志對象的方法解決了問題，現在通過同學的分享已經搞清楚日志重復的原因：多次增加了相同的handler對象。
以后定要多積累，多請教。

============================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================

很多程序都有記錄日志的需求，并且日志包含的信息有正常的程序訪問日志還可能有錯誤，警告等信息輸出，python的logging模塊提供了標準的日志接口，可以通過它存儲各種格式的日志，日志級別等級:critical > error > warning > info > debug

看下各個日志級別代表什么意思：

簡單講日志打印到屏幕：

1 >>> import logging2 >>> logging.debug('test debug')3 >>> logging.info('test info')4 >>> logging.warning('test warning')5 WARNING:root:test warning6 >>> logging.error('test error')7 ERROR:root:test error8 >>> logging.critical('test critical')9 CRITICAL:root:test critical 10 >>>

默認情況下只顯示了大于等于WARNING級別的日志。

靈活配置日志級別，日志格式，輸出位置：

1 import logging 2 logging.basicConfig(filename='app.log',level=logging.DEBUG,format='%(asctime)s %(filename)s[line:%(lineno)d] %(message)s',datefmt='%Y-%m-%d') 3 logging.info('test info') 4 logging.debug('test debug') 5 logging.warning('test warning') 6 logging.error('test error') 7 logging.critical('test critical')

查看輸出：

2017-07-17 logging模塊.py[line:7] test info 2017-07-17 logging模塊.py[line:8] test debug 2017-07-17 logging模塊.py[line:9] test warning 2017-07-17 logging模塊.py[line:10] test error 2017-07-17 logging模塊.py[line:11] test critical在logging.basicConfig()函數中可通過具體參數來更改logging模塊默認行為，可用參數有 filename：用指定的文件名創建FiledHandler（后邊會具體講解handler的概念），這樣日志會被存儲在指定的文件中。 filemode：文件打開方式，在指定了filename時使用這個參數，默認值為“a”還可指定為“w”。 format：指定handler使用的日志顯示格式。 datefmt：指定日期時間格式。 level：設置rootlogger（后邊會講解具體概念）的日志級別 stream：用指定的stream創建StreamHandler。可以指定輸出到sys.stderr,sys.stdout或者文件，默認為sys.stderr。若同時列出了filename和stream兩個參數，則stream參數會被忽略。format參數中可能用到的格式化串： %(name)s Logger的名字 %(levelno)s 數字形式的日志級別 %(levelname)s 文本形式的日志級別 %(pathname)s 調用日志輸出函數的模塊的完整路徑名，可能沒有 %(filename)s 調用日志輸出函數的模塊的文件名 %(module)s 調用日志輸出函數的模塊名 %(funcName)s 調用日志輸出函數的函數名 %(lineno)d 調用日志輸出函數的語句所在的代碼行 %(created)f 當前時間，用UNIX標準的表示時間的浮點數表示 %(relativeCreated)d 輸出日志信息時的，自Logger創建以來的毫秒數 %(asctime)s 字符串形式的當前時間。默認格式是 “2003-07-08 16:49:45,896”。逗號后面的是毫秒 %(thread)d 線程ID。可能沒有 %(threadName)s 線程名。可能沒有 %(process)d 進程ID。可能沒有 %(message)s用戶輸出的消息若要對logging進行更多靈活的控制，必須了解Logger，Handler，Formatter，Filter的概念：

logger提供了應用程序可以直接使用的接口；

handler將(logger創建的)日志記錄發送到合適的目的輸出；

filter提供了細度設備來決定輸出哪條日志記錄；

formatter決定日志記錄的最終輸出格式。

logger

每個程序在輸出信息之前都要獲得一個Logger。Logger通常對應了程序的模塊名，比如聊天工具的圖形界面模塊可以這樣獲得它的Logger：
LOG=logging.getLogger(”chat.gui”)
而核心模塊可以這樣：
LOG=logging.getLogger(”chat.kernel”)

Logger.setLevel(lel):指定最低的日志級別，低于lel的級別將被忽略。debug是最低的內置級別，critical為最高
Logger.addFilter(filt)、Logger.removeFilter(filt):添加或刪除指定的filter
Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或刪除指定的handler
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以設置的日志級別

handler

handler對象負責發送相關的信息到指定目的地。Python的日志系統有多種Handler可以使用。有些Handler可以把信息輸出到控制臺，有些Logger可以把信息輸出到文件，還有些 Handler可以把信息發送到網絡上。如果覺得不夠用，還可以編寫自己的Handler。可以通過addHandler()方法添加多個多handler
Handler.setLevel(lel):指定被處理的信息級別，低于lel級別的信息將被忽略
Handler.setFormatter()：給這個handler選擇一個格式
Handler.addFilter(filt)、Handler.removeFilter(filt)：新增或刪除一個filter對象

每個Logger可以附加多個Handler。接下來我們就來介紹一些常用的Handler：
1) logging.StreamHandler
使用這個Handler可以向類似與sys.stdout或者sys.stderr的任何文件對象(file object)輸出信息。它的構造函數是：
StreamHandler([strm])
其中strm參數是一個文件對象。默認是sys.stderr

2) logging.FileHandler
和StreamHandler類似，用于向一個文件輸出日志信息。不過FileHandler會幫你打開這個文件。它的構造函數是：
FileHandler(filename[,mode])
filename是文件名，必須指定一個文件名。
mode是文件的打開方式。參見Python內置函數open()的用法。默認是’a'，即添加到文件末尾。

3) logging.handlers.RotatingFileHandler
這個Handler類似于上面的FileHandler，但是它可以管理文件大小。當文件達到一定大小之后，它會自動將當前日志文件改名，然后創建一個新的同名日志文件繼續輸出。比如日志文件是chat.log。當chat.log達到指定的大小之后，RotatingFileHandler自動把文件改名為chat.log.1。不過，如果chat.log.1已經存在，會先把chat.log.1重命名為chat.log.2。。。最后重新創建 chat.log，繼續輸出日志信息。它的構造函數是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode兩個參數和FileHandler一樣。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes為0，意味著日志文件可以無限大，這時上面描述的重命名過程就不會發生。
backupCount用于指定保留的備份文件的個數。比如，如果指定為2，當上面描述的重命名過程發生時，原有的chat.log.2并不會被更名，而是被刪除。

4) logging.handlers.TimedRotatingFileHandler
這個Handler和RotatingFileHandler類似，不過，它沒有通過判斷文件大小來決定何時重新創建日志文件，而是間隔一定時間就自動創建新的日志文件。重命名的過程與RotatingFileHandler類似，不過新的文件不是附加數字，而是當前時間。它的構造函數是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename參數和backupCount參數和RotatingFileHandler具有相同的意義。
interval是時間間隔。
when參數是一個字符串。表示時間間隔的單位，不區分大小寫。它有以下取值：
S 秒
M 分
H 小時
D 天
W 每星期（interval==0時代表星期一）
midnight 每天凌晨

屏幕輸出和文件輸出例子：

1 import logging2 logger = logging.getLogger() #定義對應的程序模塊名name，默認是root3 #logger.setLevel(logging.DEBUG) #指定最低的日志級別4 ch = logging.StreamHandler() #日志輸出到屏幕控制臺5 ch.setLevel(logging.WARNING) #設置日志等級6 7 fh = logging.FileHandler('access.log')#向文件access.log輸出日志信息8 fh.setLevel(logging.INFO) #設置輸出到文件最低日志級別9 10 #create formatter 11 formatter = logging.Formatter('%(asctime)s %(name)s- %(levelname)s - %(message)s') #定義日志輸出格式 12 13 #add formatter to ch and fh 14 ch.setFormatter(formatter) #選擇一個格式 15 fh.setFormatter(formatter) 16 17 logger.addHandler(ch) #增加指定的handler 18 logger.addHandler(fh) 19 # 'application' code 20 logger.debug('debug message') 21 logger.info('info message') 22 logger.warn('warn message') 23 logger.error('error message') 24 logger.critical('critical message')

import logging,os BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) #獲取上級目錄的絕對路徑 log_dir = BASE_DIR + '/log/record.log' def get_logger():fh = logging.FileHandler(log_dir,encoding='utf-8') #創建一個文件流并設置編碼utf8logger = logging.getLogger() #獲得一個logger對象，默認是rootlogger.setLevel(logging.DEBUG) #設置最低等級debugfm = logging.Formatter("%(asctime)s --- %(message)s") #設置日志格式logger.addHandler(fh) #把文件流添加進來，流向寫入到文件fh.setFormatter(fm) #把文件流添加寫入格式return logger

總結

以上是生活随笔為你收集整理的Python3之logging输出写入日志的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Hadoop 副本存储策略的源码修改和设
下一篇：不同网段通过静态路由实现互通（强烈推荐）