Python打印日志方法 2

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Python打印日志方法

logger 和 handler 的关系,网上一个形象的描述是:logger 可以看作是一个记录日志的人,对于记录的每个日志,他需要有一套规则,比如记录的格式(formatter),等 级 (level) 等 等 , 这 个 规 矩 就 是 handler, 通 过 添 加 规 则

logger.addHandler(handler)就可以记录日志了。


日志的打印方式


使用 logging 模块时,首先需要得到一个 Logger 类的实例,称为记录器(logger)。每个记录器都有一个名字,并且 logging 模块是通过名字来管理这些记录器的,两个记录器之间可以通过命名空间的层次结构来确定关系。可以使用getLogger 函数获取记录器,常用的是命名为模块名或文件名。我们在日志的记录过程中大部分会有这些基本的思路,不同模块的日志记录在不同的文件中;要定期清理,不要一直无限打印;日志的记录最好按天记录,这样能够方便查看。下面我们就从这几点简单聊下日志的打印方式。

1.按文件位置打印

FileHandler(filename,mode='a',encoding=None,delay=0)

指明的 filename 文件会被打开,并用作日志流。后面三个参数为可选参数,如果 encoding 不为 None,会用指定的编码来打开文件,如果 delay 为真,第一次调用 emit()的时候才打开文件。默认情况下,文会一直增长。

2.按文件大小打印

RotatingFileHandler(filename,mode='a',maxBytes=0,backupCount=0,encoding=None,delay=0)

这个 Handler 较上面 FileHandler 的优点是,它可以管理文件大小,使用maxBytes backupCount 来让文件在预定义的尺寸发生翻转。当文件大于设定的 maxBytes,文件会被关闭,新的文件被打开用来输出。如果 maxBytes 为 0 时,翻转永远不会发生。如果 backupCount 不为 0,系统将保存老的日志文件,在文件名后加上.1,.2 这样的扩展名。例如如果 backupCount=3,基本的日志文件名为 my.log,将会的得到 my.log.1,my.log.2,my.log.3 扩展文件。新的日志会始终写在 my.log 文件中的,当文件被填满后,文件会被关闭并重命名为 my.log.1,当 my.log 文件再次被写满的话,那么已存在的 my.log.1 文件会被重命名为my.log.2,然后 my.log 文件会再次命名为 my.log.1,以此类推,最新的日志会一直被写入到 my.log 文件中。由于 RotatingFileHandler 类位于 logging.handlers 模块中,所以我们需要在日志配置文件 log_conf.py 中 import loggin.handlers。如下图,在配置文件中创建一个 RotatingFileHandler。

3.按时间分割打印

TimedRotatingFileHandler(filename,when='h',interval=1,backupCount=0,encoding=None,delay=False,utc=False)

指明的文件被打开,并用作日志流。在循环时它会设置文件后缀。循环发生基于 when 和 interval 的乘积。使用 when 来指明 interval 的类型。参数可取值范围如下,无大小写之分

可能遇到的问题

1.日志的重复打印

执行上面脚本发现之前的日志会被重复打印,如下

因为我们在第二次调用 log 的时候,getLogger()会获取上一次已获取的logger,因为这个 logger 在第一次调用日志接口的时候已经添加了 handler,第二次调用的时候会再次添加了一个 handler,所以同一个 logger 里有两个同样的handler,依此类推,调用几次就会有几个 handler。解决这个问题有几种方法,我们可以在每次调用 log 的时候,创建不同的handler;也可以在 log 方法里判断当前的 logger 是否已经有 handler,有则不会再添加 handler,这两种方法都有点绕,按照之前我们的例子,比较简单的方法是在每次打印完一条日志后,我们都移除 handler,保证调用 log 的时候,当前只有一个 handler。

多进程环境下的问题

logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的,但是多个进程同往一个文件写日志是不安全的,经常会发现日志的缺失,同时也有可能报错。

上面为一个多进程中使用 TimedRotatingFileHandler,程序报的异常,是因为 doRollover()对文件缺失的异常没有处理。比如我们是按天切割文件的,配置的日志文件名为my.log,日志准备从3月9号切换到3月10号的时候,那么 self.bassFilename 就是 my.log,dfn 就是my.log.2017-03-09。

执行的流程为:

1.判断准备切入的文件是否存在,如果存在,则删除

2.然后将 my.log 文件重命名为 my.log.2017-03-09

3.再将 3.10 号的日志打印到 my.log 中。

多进程如果共用一个日志文件的话,那么每个进程都会执行上面的操作,这样第二个进程就在进行第一步判断时就会把有效的文件 my.log.2017-03-09 删除,成有效日志缺失。

如果需要保证多进程的日志正确的输出到同一个日志文件中,则可以:

  • 将日志发送到同一个进程,由这个进程负责输出
  • 对日志输出进行加锁,每个进程输出日志前需要先获得锁。

网上也可以查到很多的解决办法,这里就不详细介绍了。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
129 3
|
10天前
|
人工智能 自然语言处理 算法
随机的暴力美学蒙特卡洛方法 | python小知识
蒙特卡洛方法是一种基于随机采样的计算算法,广泛应用于物理学、金融、工程等领域。它通过重复随机采样来解决复杂问题,尤其适用于难以用解析方法求解的情况。该方法起源于二战期间的曼哈顿计划,由斯坦尼斯拉夫·乌拉姆等人提出。核心思想是通过大量随机样本来近似真实结果,如估算π值的经典示例。蒙特卡洛树搜索(MCTS)是其高级应用,常用于游戏AI和决策优化。Python中可通过简单代码实现蒙特卡洛方法,展示其在文本生成等领域的潜力。随着计算能力提升,蒙特卡洛方法的应用范围不断扩大,成为处理不确定性和复杂系统的重要工具。
49 21
|
8天前
|
数据挖掘 数据处理 开发者
Python3 自定义排序详解:方法与示例
Python的排序功能强大且灵活,主要通过`sorted()`函数和列表的`sort()`方法实现。两者均支持`key`参数自定义排序规则。本文详细介绍了基础排序、按字符串长度或元组元素排序、降序排序、多条件排序及使用`lambda`表达式和`functools.cmp_to_key`进行复杂排序。通过示例展示了如何对简单数据类型、字典、类对象及复杂数据结构(如列车信息)进行排序。掌握这些技巧可以显著提升数据处理能力,为编程提供更强大的支持。
24 10
|
2月前
|
安全
Python-打印99乘法表的两种方法
本文详细介绍了两种实现99乘法表的方法:使用`while`循环和`for`循环。每种方法都包括了步骤解析、代码演示及优缺点分析。文章旨在帮助编程初学者理解和掌握循环结构的应用,内容通俗易懂,适合编程新手阅读。博主表示欢迎读者反馈,共同进步。
|
3月前
|
算法 决策智能 Python
Python中解决TSP的方法
旅行商问题(TSP)是寻找最短路径,使旅行商能访问每个城市一次并返回起点的经典优化问题。本文介绍使用Python的`ortools`库解决TSP的方法,通过定义城市间的距离矩阵,调用库函数计算最优路径,并打印结果。此方法适用于小规模问题,对于大规模或特定需求,需深入了解算法原理及定制策略。
62 15
|
2月前
|
JSON 安全 API
Python调用API接口的方法
Python调用API接口的方法
321 5
|
2月前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
75 5
WK
|
3月前
|
Python
Python中format_map()方法
在Python中,`format_map()`方法用于使用字典格式化字符串。它接受一个字典作为参数,用字典中的键值对替换字符串中的占位符。此方法适用于从字典动态获取值的场景,尤其在处理大量替换值时更为清晰和方便。
WK
128 36
|
3月前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用
本文探讨了强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用,通过案例分析展示了其潜力,并讨论了面临的挑战及未来发展趋势。强化学习正为游戏AI带来新的可能性。
167 4
|
3月前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本:自动化下载视频的日志记录
Python脚本:自动化下载视频的日志记录