1 logging模塊簡介

logging模塊是Python內(nèi)置的標(biāo)準(zhǔn)模塊，主要用于輸出運(yùn)行日志，可以設(shè)置輸出日志的等級(jí)、日志保存路徑、日志文件回滾等；相比print，具備如下優(yōu)點(diǎn)：

可以通過設(shè)置不同的日志等級(jí)，在release版本中只輸出重要信息，而不必顯示大量的調(diào)試信息； print將所有信息都輸出到標(biāo)準(zhǔn)輸出中，嚴(yán)重影響開發(fā)者從標(biāo)準(zhǔn)輸出中查看其它數(shù)據(jù)；logging則可以由開發(fā)者決定將信息輸出到什么地方，以及怎么輸出；

Logger從來不直接實(shí)例化，經(jīng)常通過logging模塊級(jí)方法（Module-Level Function）logging.getLogger(name)來獲得，其中如果name不給定就用root。名字是以點(diǎn)號(hào)分割的命名方式命名的(a.b.c)。對(duì)同一個(gè)名字的多個(gè)調(diào)用logging.getLogger()方法會(huì)返回同一個(gè)logger對(duì)象。這種命名方式里面，后面的loggers是前面logger的子logger，自動(dòng)繼承父loggers的log信息，正因?yàn)榇?沒有必要把一個(gè)應(yīng)用的所有l(wèi)ogger都配置一遍，只要把頂層的logger配置好了，然后子logger根據(jù)需要繼承就行了。

logging.Logger對(duì)象扮演了三重角色: 首先,它暴露給應(yīng)用幾個(gè)方法以便應(yīng)用可以在運(yùn)行時(shí)寫log. 其次,Logger對(duì)象按照log信息的嚴(yán)重程度或者根據(jù)filter對(duì)象來決定如何處理log信息(默認(rèn)的過濾功能). 最后,logger還負(fù)責(zé)把log信息傳送給相關(guān)的handlers.

2 logging模塊使用

2.1 基本使用

配置logging基本的設(shè)置，然后在控制臺(tái)輸出日志，

import logginglogging.basicConfig(level = logging.INFO,format = ’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)logger = logging.getLogger(__name__) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

運(yùn)行時(shí)，控制臺(tái)輸出，

1 2016-10-09 19:11:19,434 - __main__ - INFO - Start print log2 2016-10-09 19:11:19,434 - __main__ - WARNING - Something maybe fail.3 2016-10-09 19:11:19,434 - __main__ - INFO - Finish

logging中可以選擇很多消息級(jí)別，如：DEBUG，INFO，WARNING，ERROR，CRITICAL，通過賦予logger或者h(yuǎn)andler不同的級(jí)別，開發(fā)者就可以只輸出錯(cuò)誤信息到特定的記錄文件，或者在調(diào)試時(shí)只記錄調(diào)試信息。

將logger的級(jí)別改為DEBUG，再觀察一下輸出結(jié)果

logging.basicConfig(level = logging.DEBUG,format = ’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)

從輸出結(jié)果可以看到，輸出了debug的日志記錄

2016-10-09 19:12:08,289 - __main__ - INFO - Start print log2016-10-09 19:12:08,289 - __main__ - DEBUG - Do something2016-10-09 19:12:08,289 - __main__ - WARNING - Something maybe fail.2016-10-09 19:12:08,289 - __main__ - INFO - Finish

logging.basicConfig函數(shù)各參數(shù)：

filename：指定日志文件名； filemode：和file函數(shù)意義相同，指定日志文件的打開模式，’w’或者’a’；format：指定輸出的格式和內(nèi)容，format可以輸出很多有用的信息，datefmt：指定時(shí)間格式，同time.strftime()； level：設(shè)置日志級(jí)別，默認(rèn)為logging.WARNNING； stream：指定將日志的輸出流，可以指定輸出到sys.stderr，sys.stdout或者文件，默認(rèn)輸出到sys.stderr，當(dāng)stream和filename同時(shí)指定時(shí)，stream被忽略；　

屬性名稱 格式 說明 name %(name)s 日志的名稱 asctime %(asctime)s 可讀時(shí)間，默認(rèn)格式‘2003-07-08 16:49:45,896’，逗號(hào)之后是毫秒 filename %(filename)s 文件名，pathname的一部分 pathname %(pathname)s 文件的全路徑名稱 funcName %(funcName)s 調(diào)用日志多對(duì)應(yīng)的方法名 levelname %(levelname)s 日志的等級(jí) levelno %(levelno)s 數(shù)字化的日志等級(jí) lineno %(lineno)d 被記錄日志在源碼中的行數(shù) module %(module)s 模塊名 msecs %(msecs)d 時(shí)間中的毫秒部分 process %(process)d 進(jìn)程的ID processName %(processName)s 進(jìn)程的名稱 thread %(thread)d 線程的ID threadName %(threadName)s 線程的名稱 relativeCreated %(relativeCreated)d 日志被創(chuàng)建的相對(duì)時(shí)間，以毫秒為單位

2.2 將日志寫入到文件

2.2.1 將日志寫入到文件

設(shè)置logging，創(chuàng)建一個(gè)FileHandler，并對(duì)輸出消息的格式進(jìn)行設(shè)置，將其添加到logger，然后將日志寫入到指定的文件中，

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter)logger.addHandler(handler) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　log.txt中日志數(shù)據(jù)為：

2017-07-25 15:02:09,905 - __main__ - INFO - Start print log2017-07-25 15:02:09,905 - __main__ - WARNING - Something maybe fail.2017-07-25 15:02:09,905 - __main__ - INFO - Finish

2.2.2 將日志同時(shí)輸出到屏幕和日志文件

logger中添加StreamHandler，可以將日志輸出到屏幕上，

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO) logger.addHandler(handler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　可以在log.txt文件和控制臺(tái)中看到

2017-07-25 15:03:05,075 - __main__ - INFO - Start print log2017-07-25 15:03:05,075 - __main__ - WARNING - Something maybe fail.2017-07-25 15:03:05,075 - __main__ - INFO - Finish

可以發(fā)現(xiàn)，logging有一個(gè)日志處理的主對(duì)象，其他處理方式都是通過addHandler添加進(jìn)去，logging中包含的handler主要有如下幾種，

handler名稱：位置；作用 StreamHandler：logging.StreamHandler；日志輸出到流，可以是sys.stderr，sys.stdout或者文件FileHandler：logging.FileHandler；日志輸出到文件BaseRotatingHandler：logging.handlers.BaseRotatingHandler；基本的日志回滾方式RotatingHandler：logging.handlers.RotatingHandler；日志回滾方式，支持日志文件最大數(shù)量和日志文件回滾TimeRotatingHandler：logging.handlers.TimeRotatingHandler；日志回滾方式，在一定時(shí)間區(qū)域內(nèi)回滾日志文件SocketHandler：logging.handlers.SocketHandler；遠(yuǎn)程輸出日志到TCP/IP socketsDatagramHandler：logging.handlers.DatagramHandler；遠(yuǎn)程輸出日志到UDP socketsSMTPHandler：logging.handlers.SMTPHandler；遠(yuǎn)程輸出日志到郵件地址SysLogHandler：logging.handlers.SysLogHandler；日志輸出到syslogNTEventLogHandler：logging.handlers.NTEventLogHandler；遠(yuǎn)程輸出日志到Windows NT/2000/XP的事件日志MemoryHandler：logging.handlers.MemoryHandler；日志輸出到內(nèi)存中的指定bufferHTTPHandler：logging.handlers.HTTPHandler；通過'GET'或者'POST'遠(yuǎn)程輸出到HTTP服務(wù)器

2.2.3 日志回滾

使用RotatingFileHandler，可以實(shí)現(xiàn)日志回滾，

import loggingfrom logging.handlers import RotatingFileHandlerlogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)#定義一個(gè)RotatingFileHandler，最多備份3個(gè)日志文件，每個(gè)日志文件最大1KrHandler = RotatingFileHandler('log.txt',maxBytes = 1*1024,backupCount = 3)rHandler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)rHandler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO)console.setFormatter(formatter) logger.addHandler(rHandler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')logger.info('Finish')

　可以在工程目錄中看到，備份的日志文件，

.3 設(shè)置消息的等級(jí)

可以設(shè)置不同的日志等級(jí)，用于控制日志的輸出

日志等級(jí)：使用范圍 FATAL：致命錯(cuò)誤CRITICAL：特別糟糕的事情，如內(nèi)存耗盡、磁盤空間為空，一般很少使用ERROR：發(fā)生錯(cuò)誤時(shí)，如IO操作失敗或者連接問題WARNING：發(fā)生很重要的事件，但是并不是錯(cuò)誤時(shí)，如用戶登錄密碼錯(cuò)誤INFO：處理請(qǐng)求或者狀態(tài)變化等日常事務(wù)DEBUG：調(diào)試過程中使用DEBUG等級(jí)，如算法中每個(gè)循環(huán)的中間狀態(tài)

　setLevel(lvl) 定義處理log的最低等級(jí)，內(nèi)建的級(jí)別為：DEBUG，INFO，WARNING，ERROR，CRITICAL；下圖是級(jí)別對(duì)應(yīng)數(shù)值

2.4 捕獲traceback

Python中的traceback模塊被用于跟蹤異常返回信息，可以在logging中記錄下traceback

import logginglogger = logging.getLogger(__name__)logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO) logger.addHandler(handler)logger.addHandler(console) logger.info('Start print log')logger.debug('Do something')logger.warning('Something maybe fail.')try: open('sklearn.txt','rb')except (SystemExit,KeyboardInterrupt): raiseexcept Exception: logger.error('Faild to open sklearn.txt from logger.error',exc_info = True) logger.info('Finish')

　控制臺(tái)和日志文件log.txt中輸出

2017-07-25 15:04:24,045 - __main__ - INFO - Start print log2017-07-25 15:04:24,045 - __main__ - WARNING - Something maybe fail.2017-07-25 15:04:24,046 - __main__ - ERROR - Faild to open sklearn.txt from logger.errorTraceback (most recent call last): File 'E:PYTHONEclipseeclipseDoc14day5Logger模塊Logging.py', line 71, in <module> open('sklearn.txt','rb')IOError: [Errno 2] No such file or directory: ’sklearn.txt’2017-07-25 15:04:24,049 - __main__ - INFO - Finish

也可以使用logger.exception(msg,_args)，它等價(jià)于logger.error(msg,exc_info = True,_args)，

將logger.error('Faild to open sklearn.txt from logger.error',exc_info = True)替換為，logger.exception('Failed to open sklearn.txt from logger.exception')　

2.5 多模塊使用logging

主模塊mainModule.py

import loggingimport subModulelogger = logging.getLogger('mainModule')logger.setLevel(level = logging.INFO)handler = logging.FileHandler('log.txt')handler.setLevel(logging.INFO)formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)handler.setFormatter(formatter) console = logging.StreamHandler()console.setLevel(logging.INFO)console.setFormatter(formatter) logger.addHandler(handler)logger.addHandler(console) logger.info('creating an instance of subModule.subModuleClass')a = subModule.SubModuleClass()logger.info('calling subModule.subModuleClass.doSomething')a.doSomething()logger.info('done with subModule.subModuleClass.doSomething')logger.info('calling subModule.some_function')subModule.som_function()logger.info('done with subModule.some_function')

子模塊subModule.py

import logging module_logger = logging.getLogger('mainModule.sub')class SubModuleClass(object): def __init__(self): self.logger = logging.getLogger('mainModule.sub.module') self.logger.info('creating an instance in SubModuleClass') def doSomething(self): self.logger.info('do something in SubModule') a = [] a.append(1) self.logger.debug('list a = ' + str(a)) self.logger.info('finish something in SubModuleClass') def som_function(): module_logger.info('call function some_function')

　執(zhí)行之后，在控制和日志文件log.txt中輸出

2017-07-25 15:05:07,427 - mainModule - INFO - creating an instance of subModule.subModuleClass2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - creating an instance in SubModuleClass2017-07-25 15:05:07,427 - mainModule - INFO - calling subModule.subModuleClass.doSomething2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - do something in SubModule2017-07-25 15:05:07,427 - mainModule.sub.module - INFO - finish something in SubModuleClass2017-07-25 15:05:07,427 - mainModule - INFO - done with subModule.subModuleClass.doSomething2017-07-25 15:05:07,427 - mainModule - INFO - calling subModule.some_function2017-07-25 15:05:07,427 - mainModule.sub - INFO - call function some_function2017-07-25 15:05:07,428 - mainModule - INFO - done with subModule.some_function

說明：

首先在主模塊定義了logger’mainModule’，并對(duì)它進(jìn)行了配置，就可以在解釋器進(jìn)程里面的其他地方通過getLogger(’mainModule’)得到的對(duì)象都是一樣的，不需要重新配置，可以直接使用。定義的該logger的子logger，都可以共享父logger的定義和配置，所謂的父子logger是通過命名來識(shí)別，任意以’mainModule’開頭的logger都是它的子logger，例如’mainModule.sub’。

實(shí)際開發(fā)一個(gè)application，首先可以通過logging配置文件編寫好這個(gè)application所對(duì)應(yīng)的配置，可以生成一個(gè)根logger，如’PythonAPP’，然后在主函數(shù)中通過fileConfig加載logging配置，接著在application的其他地方、不同的模塊中，可以使用根logger的子logger，如’PythonAPP.Core’，’PythonAPP.Web’來進(jìn)行l(wèi)og，而不需要反復(fù)的定義和配置各個(gè)模塊的logger。

3 通過JSON或者YAML文件配置logging模塊

盡管可以在Python代碼中配置logging，但是這樣并不夠靈活，最好的方法是使用一個(gè)配置文件來配置。在Python 2.7及以后的版本中，可以從字典中加載logging配置，也就意味著可以通過JSON或者YAML文件加載日志的配置。

3.1 通過JSON文件配置

JSON配置文件

{ 'version':1, 'disable_existing_loggers':false, 'formatters':{ 'simple':{ 'format':'%(asctime)s - %(name)s - %(levelname)s - %(message)s' } }, 'handlers':{ 'console':{ 'class':'logging.StreamHandler', 'level':'DEBUG', 'formatter':'simple', 'stream':'ext://sys.stdout' }, 'info_file_handler':{ 'class':'logging.handlers.RotatingFileHandler', 'level':'INFO', 'formatter':'simple', 'filename':'info.log', 'maxBytes':'10485760', 'backupCount':20, 'encoding':'utf8' }, 'error_file_handler':{ 'class':'logging.handlers.RotatingFileHandler', 'level':'ERROR', 'formatter':'simple', 'filename':'errors.log', 'maxBytes':10485760, 'backupCount':20, 'encoding':'utf8' } }, 'loggers':{ 'my_module':{ 'level':'ERROR', 'handlers':['info_file_handler'], 'propagate':'no' } }, 'root':{ 'level':'INFO', 'handlers':['console','info_file_handler','error_file_handler'] }}

通過JSON加載配置文件，然后通過logging.dictConfig配置logging，

import jsonimport logging.configimport os def setup_logging(default_path = 'logging.json',default_level = logging.INFO,env_key = 'LOG_CFG'): path = default_path value = os.getenv(env_key,None) if value: path = value if os.path.exists(path): with open(path,'r') as f: config = json.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level = default_level) def func(): logging.info('start func') logging.info('exec func') logging.info('end func') if __name__ == '__main__': setup_logging(default_path = 'logging.json') func()

3.2 通過YAML文件配置

通過YAML文件進(jìn)行配置，比JSON看起來更加簡介明了，

version: 1disable_existing_loggers: Falseformatters: simple: format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'handlers: console: class: logging.StreamHandler level: DEBUG formatter: simple stream: ext://sys.stdout info_file_handler: class: logging.handlers.RotatingFileHandler level: INFO formatter: simple filename: info.log maxBytes: 10485760 backupCount: 20 encoding: utf8 error_file_handler: class: logging.handlers.RotatingFileHandler level: ERROR formatter: simple filename: errors.log maxBytes: 10485760 backupCount: 20 encoding: utf8loggers: my_module: level: ERROR handlers: [info_file_handler] propagate: noroot: level: INFO handlers: [console,info_file_handler,error_file_handler]

通過YAML加載配置文件，然后通過logging.dictConfig配置logging

import yamlimport logging.configimport os def setup_logging(default_path = 'logging.yaml',default_level = logging.INFO,env_key = 'LOG_CFG'): path = default_path value = os.getenv(env_key,None) if value: path = value if os.path.exists(path): with open(path,'r') as f: config = yaml.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level = default_level) def func(): logging.info('start func') logging.info('exec func') logging.info('end func') if __name__ == '__main__': setup_logging(default_path = 'logging.yaml') func()

4 Reference

http://wjdadi-gmail-com.iteye.com/blog/1984354

關(guān)于 logging 的一些瑣事

python logging 重復(fù)寫日志問題

到此這篇關(guān)于Python中l(wèi)ogger日志模塊詳解的文章就介紹到這了,更多相關(guān)Python中l(wèi)ogger日志模塊內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！