Python向日志输出中添加上下文信息

除了传递给日志记录函数的参数（如msg）外，有时候我们还想在日志输出中包含一些额外的上下文信息。比如，在一个网络应用中，可能希望在日志中记录客户端的特定信息，如：远程客户端的IP地址和用户名。这里我们来介绍以下几种实现方式：

• 通过向日志记录函数传递一个extra参数引入上下文信息
• 使用LoggerAdapters引入上下文信息
• 使用Filters引入上下文信息

一、通过向日志记录函数传递一个extra参数引入上下文信息

前面我们提到过，可以通过向日志记录函数传递一个extra参数来实现向日志输出中添加额外的上下文信息，如：

import logging
import sys
fmt = logging.Formatter("%(asctime)s - %(name)s - %(ip)s - %(username)s - %(message)s")
h_console = logging.StreamHandler(sys.stdout)
h_console.setFormatter(fmt)
logger = logging.getLogger("myPro")
logger.setLevel(logging.DEBUG)
logger.addHandler(h_console)
extra_dict = {"ip": "113.208.78.29", "username": "Petter"}
logger.debug("User Login!", extra=extra_dict)
extra_dict = {"ip": "223.190.65.139", "username": "Jerry"}
logger.info("User Access!", extra=extra_dict)

输出：

2017-05-14 15:47:25,562 - myPro - 113.208.78.29 - Petter - User Login!
2017-05-14 15:47:25,562 - myPro - 223.190.65.139 - Jerry - User Access!

但是用这种方式来传递信息并不是那么方便，因为每次调用日志记录方法都要传递一个extra关键词参数。即便没有需要插入的上下文信息也是如此，因为该logger设置的formatter格式中指定的字段必须要存在。所以，我们推荐使用下面两种方式来实现上下文信息的引入。

也许可以尝试在每次创建连接时都创建一个Logger实例来解决上面存在的问题，但是这显然不是一个好的解决方案，因为这些Logger实例并不会进行垃圾回收。尽管这在实践中不是个问题，但是当Logger数量变得不可控将会非常难以管理。

二、使用LoggerAdapters引入上下文信息

使用LoggerAdapter类来传递上下文信息到日志事件的信息中是一个非常简单的方式，可以把它看做第一种实现方式的优化版--因为它为extra提供了一个默认值。这个类设计的类似于Logger，因此我们可以像使用Logger类的实例那样来调用debug(), info(), warning(),error(), exception(), critical()和log()方法。当创建一个LoggerAdapter的实例时，我们需要传递一个Logger实例和一个包含上下文信息的类字典对象给该类的实例构建方法。当调用LoggerAdapter实例的一个日志记录方法时，该方法会在对日志日志消息和字典对象进行处理后，调用构建该实例时传递给该实例的logger对象的同名的日志记录方法。下面是LoggerAdapter类中几个方法的定义：

class LoggerAdapter(object):
 """
 An adapter for loggers which makes it easier to specify contextual
 information in logging output.
 """
 def __init__(self, logger, extra):
  """
  Initialize the adapter with a logger and a dict-like object which
  provides contextual information. This constructor signature allows
  easy stacking of LoggerAdapters, if so desired.
  You can effectively pass keyword arguments as shown in the
  following example:
  adapter = LoggerAdapter(someLogger, dict(p1=v1, p2="v2"))
  """
  self.logger = logger
  self.extra = extra
 def process(self, msg, kwargs):
  """
  Process the logging message and keyword arguments passed in to
  a logging call to insert contextual information. You can either
  manipulate the message itself, the keyword args or both. Return
  the message and kwargs modified (or not) to suit your needs.
  Normally, you'll only need to override this one method in a
  LoggerAdapter subclass for your specific needs.
  """
  kwargs["extra"] = self.extra
  return msg, kwargs
 def debug(self, msg, *args, **kwargs):
  """
  Delegate a debug call to the underlying logger, after adding
  contextual information from this adapter instance.
  """
  msg, kwargs = self.process(msg, kwargs)
  self.logger.debug(msg, *args, **kwargs)

通过分析上面的代码可以得出以下结论：

• 上下文信息是在LoggerAdapter类的process()方法中被添加到日志记录的输出消息中的，如果要实现自定义需求只需要实现LoggerAdapter的子类并重写process()方法即可；
• process()方法的默认实现中，没有修改msg的值，只是为关键词参数插入了一个名为extra的 key，这个extra的值为传递给LoggerAdapter类构造方法的参数值；
• LoggerAdapter类构建方法所接收的extra参数，实际上就是为了满足logger的formatter格式要求所提供的默认上下文信息。

关于上面提到的第3个结论，我们来看个例子：

import logging
import sys
# 初始化一个要传递给LoggerAdapter构造方法的logger实例
fmt = logging.Formatter("%(asctime)s - %(name)s - %(ip)s - %(username)s - %(message)s")
h_console = logging.StreamHandler(sys.stdout)
h_console.setFormatter(fmt)
init_logger = logging.getLogger("myPro")
init_logger.setLevel(logging.DEBUG)
init_logger.addHandler(h_console)
# 初始化一个要传递给LoggerAdapter构造方法的上下文字典对象
extra_dict = {"ip": "IP", "username": "USERNAME"}
# 获取一个LoggerAdapter类的实例
logger = logging.LoggerAdapter(init_logger, extra_dict)
# 应用中的日志记录方法调用
logger.info("User Login!")
logger.info("User Login!", extra={"ip": "113.208.78.29", "username": "Petter"})
logger.extra = {"ip": "113.208.78.29", "username": "Petter"}
logger.info("User Login!")
logger.info("User Login!")

输出结果：

# 使用extra默认值：{"ip": "IP", "username": "USERNAME"}
2017-05-14 17:23:15,148 - myPro - IP - USERNAME - User Login!
# info(msg, extra)方法中传递的extra方法没有覆盖默认值
2017-05-14 17:23:15,148 - myPro - IP - USERNAME - User Login!
# extra默认值被修改了
2017-05-14 17:23:15,148 - myPro - 113.208.78.29 - Petter - User Login!
2017-05-14 17:23:15,148 - myPro - 113.208.78.29 - Petter - User Login!

根据上面的程序输出结果，我们会发现一个问题：传递给LoggerAdapter类构造方法的extra参数值不能被LoggerAdapter实例的日志记录函数（如上面调用的info()方法）中的extra参数覆盖，只能通过修改LoggerAdapter实例的extra属性来修改默认值（如上面使用的logger.extra=xxx），但是这也就意味着默认值被修改了。

解决这个问题的思路应该是：实现一个LoggerAdapter的子类，重写process()方法。其中对于kwargs参数的操作应该是先判断其本身是否包含extra关键字，如果包含则不使用默认值进行替换；如果kwargs参数中不包含extra关键字则取默认值。来看具体实现：

import logging
import sys
class MyLoggerAdapter(logging.LoggerAdapter):
 def process(self, msg, kwargs):
  if 'extra' not in kwargs:
   kwargs["extra"] = self.extra
  return msg, kwargs
if __name__ == '__main__':
 # 初始化一个要传递给LoggerAdapter构造方法的logger实例
 fmt = logging.Formatter("%(asctime)s - %(name)s - %(ip)s - %(username)s - %(message)s")
 h_console = logging.StreamHandler(sys.stdout)
 h_console.setFormatter(fmt)
 init_logger = logging.getLogger("myPro")
 init_logger.setLevel(logging.DEBUG)
 init_logger.addHandler(h_console)
 # 初始化一个要传递给LoggerAdapter构造方法的上下文字典对象
 extra_dict = {"ip": "IP", "username": "USERNAME"}
 # 获取一个自定义LoggerAdapter类的实例
 logger = MyLoggerAdapter(init_logger, extra_dict)
 # 应用中的日志记录方法调用
 logger.info("User Login!")
 logger.info("User Login!", extra={"ip": "113.208.78.29", "username": "Petter"})
 logger.info("User Login!")
 logger.info("User Login!")

输出结果：

# 使用extra默认值：{"ip": "IP", "username": "USERNAME"}
2017-05-22 17:35:38,499 - myPro - IP - USERNAME - User Login!
# info(msg, extra)方法中传递的extra方法已覆盖默认值
2017-05-22 17:35:38,499 - myPro - 113.208.78.29 - Petter - User Login!
# extra默认值保持不变
2017-05-22 17:35:38,499 - myPro - IP - USERNAME - User Login!
2017-05-22 17:35:38,499 - myPro - IP - USERNAME - User Login!

OK！ 问题解决了。

其实，如果我们想不受formatter的限制，在日志输出中实现自由的字段插入，可以通过在自定义LoggerAdapter的子类的process()方法中将字典参数中的关键字信息拼接到日志事件的消息中。很明显，这些上下文中的字段信息在日志输出中的位置是有限制的。而使用'extra'的优势在于，这个类字典对象的值将被合并到这个LogRecord实例的__dict__中，这样就允许我们通过Formatter实例自定义日志输出的格式字符串。这虽然使得上下文信息中的字段信息在日志输出中的位置变得与内置字段一样灵活，但是前提是传递给构造器方法的这个类字典对象中的key必须是确定且明了的。

三、使用Filters引入上下文信息

另外，我们还可以使用自定义的Filter.Filter实例的方式，在filter(record)方法中修改传递过来的LogRecord实例，把要加入的上下文信息作为新的属性赋值给该实例，这样就可以通过指定formatter的字符串格式来输出这些上下文信息了。

我们模仿上面的实现，在传递个filter(record)方法的LogRecord实例中添加两个与当前网络请求相关的信息：ip和username。

import logging
from random import choice
class ContextFilter(logging.Filter):
  ip = 'IP'
  username = 'USER'
  def filter(self, record):
   record.ip = self.ip
   record.username = self.username
   return True
if __name__ == '__main__':
 levels = (logging.DEBUG, logging.INFO, logging.WARNING, logging.ERROR, logging.CRITICAL)
 users = ['Tom', 'Jerry', 'Peter']
 ips = ['113.108.98.34', '219.238.78.91', '43.123.99.68']
 logging.basicConfig(level=logging.DEBUG,
      format='%(asctime)-15s %(name)-5s %(levelname)-8s %(ip)-15s %(username)-8s %(message)s')
 logger = logging.getLogger('myLogger')
 f = ContextFilter()
 logger.addFilter(f)
 logger.debug('A debug message')
 logger.info('An info message with %s', 'some parameters')
 for x in range(5):
  lvl = choice(levels)
  lvlname = logging.getLevelName(lvl)
  filter.ip = choice(ips)
  filter.username = choice(users)
  logger.log(lvl, 'A message at %s level with %d %s', lvlname, 2, 'parameters')

输出结果：

2017-05-15 10:21:49,401 myLogger DEBUG    IP              USER     A debug message
2017-05-15 10:21:49,401 myLogger INFO     IP              USER     An info message with some parameters
2017-05-15 10:21:49,401 myLogger INFO     219.238.78.91   Tom      A message at INFO level with 2 parameters
2017-05-15 10:21:49,401 myLogger INFO     219.238.78.91   Peter    A message at INFO level with 2 parameters
2017-05-15 10:21:49,401 myLogger DEBUG    113.108.98.34   Jerry    A message at DEBUG level with 2 parameters
2017-05-15 10:21:49,401 myLogger CRITICAL 43.123.99.68    Tom      A message at CRITICAL level with 2 parameters
2017-05-15 10:21:49,401 myLogger INFO     43.123.99.68    Jerry    A message at INFO level with 2 parameters

需要说明的是： 实际的网络应用程序中，可能还要考虑多线程并发时的线程安全问题，此时可以把连接信息或者自定义过滤器的实例通过threading.local保存到到一个threadlocal中。

以上所述是小编给大家介绍的Python向日志输出中添加上下文信息，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

# python日志输出  # python上下文信息  # Python上下文管理器和with块详解  # 深入学习Python中的上下文管理器与else块  # 正确理解python中的关键字“with”与上下文管理器  # Python中的with语句与上下文管理器学习总结  # 深入解析Python中的上下文管理器  # 详解Python中contextlib上下文管理模块的用法  # Python深入学习之上下文管理器  # python 上下文管理器使用方法小结  # 关键词  # 默认值  # 自定义  # 子类  # 可以通过  # 重写  # 来实现  # 创建一个  # 小编  # 中不  # 的是  # 应该是  # 客户端  # 几个  # 是个  # 是在  # 还可以  # 是有  # 都要  # 将会 

相关文章： 山东网站制作公司有哪些,山东大源集团官网？  制作充值网站的软件,做人力招聘为什么要自己交端口钱？  建站之星微信建站一键生成小程序+多端营销系统  较简单的网站制作软件有哪些,手机版网页制作用什么软件？  如何在Windows服务器上快速搭建网站？  如何正确选择百度移动适配建站域名？  韩国网站服务器搭建指南：VPS选购、域名解析与DNS配置推荐  用v-html解决Vue.js渲染中html标签不被解析的问题  网站制作公司哪里好做,成都网站制作公司哪家做得比较好，更正规？  Swift中循环语句中的转移语句 break 和 continue  成都网站制作公司哪家好,四川省职工服务网是做什么用？  如何制作一个表白网站视频,关于勇敢表白的小标题？  黑客入侵网站服务器的常见手法有哪些？  制作营销网站公司,淘特是干什么用的？  网站制作免费,什么网站能看正片电影？  寿县云建站：智能SEO优化与多行业模板快速上线指南  ,网页ppt怎么弄成自己的ppt？  建站之星图片链接生成指南：自助建站与智能设计教程  南宁网站建设制作定制,南宁网站建设可以定制吗？  在线流程图制作网站手机版,谁能推荐几个好的CG原画资源网站么？  如何将凡科建站内容保存为本地文件？  盘锦网站制作公司,盘锦大洼有多少5G网站？  微信小程序制作网站有哪些,微信小程序需要做网站吗？  如何高效利用亚马逊云主机搭建企业网站？  建站VPS能否同时实现高效与安全翻墙？  孙琪峥织梦建站教程如何优化数据库安全？  制作宣传网站的软件,小红书可以宣传网站吗？  免费制作统计图的网站有哪些,如何看待现如今年轻人买房难的情况？  重庆市网站制作公司,重庆招聘网站哪个好？  网站规划与制作是什么,电子商务网站系统规划的内容及步骤是什么？  建站之星如何快速生成多端适配网站？  免费视频制作网站,更新又快又好的免费电影网站？  制作门户网站的参考文献在哪,小说网站怎么建立？  名字制作网站免费,所有小说网站的名字？  在线教育网站制作平台,山西立德教育官网？  济南企业网站制作公司,济南社保单位网上缴费步骤？  郑州企业网站制作公司,郑州招聘网站有哪些？  如何快速生成专业多端适配建站电话？  如何选择适配移动端的WAP自助建站平台？  上海网站制作网页,上海本地的生活网站有哪些？最好包括生活的各个方面的？  保定网站制作方案定制,保定招聘的渠道有哪些？找工作的人一般都去哪里看招聘信息？  北京专业网站制作设计师招聘,北京白云观官方网站？  专业网站制作企业网站,如何制作一个企业网站，建设网站的基本步骤有哪些？  如何快速查询网站的真实建站时间？  建站之星2.7模板：企业网站建设与h5定制设计专题  如何快速搭建安全的FTP站点？  广州网站设计制作一条龙,广州巨网网络科技有限公司是干什么的？  制作企业网站建设方案,怎样建设一个公司网站？  网站图片在线制作软件,怎么在图片上做链接？  如何快速搭建个人网站并优化SEO？