常用百宝箱——日志处理

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 常用百宝箱——日志处理

前言

       日志是记录特定时间段或事件的详细信息的文件或记录。它们通过时间戳和关键词或描述符来标识事件或行动。日志可以用于许多目的,例如:故障排除、网络安全、业务分析等等。常见的日志包括操作系统日志、应用程序日志、数据库日志等。日志可以通过软件工具进行分析和汇总,以帮助用户更好地了解系统的运行情况和性能状况,以及发现可能存在的问题和异常情况。

一、logging库

logging库是Python官方自带的日志处理模块,它提供了一种灵活、简单但功能强大的方式来记录应用程序的日志信息。使用logging库可以对应用程序的日志信息进行收集、过滤、格式化和输出控制等操作。


通过logging库可以实现以下功能:


记录应用程序的日志信息到文件或者控制台。


根据日志级别过滤输出的日志信息。


根据配置不同输出不同格式的日志信息。


根据配置自动轮转日志文件,防止日志文件过大。


支持多线程和多进程的应用程序。


可以自定义日志处理器,实现特定的日志处理需求。

二、logging日志等级

logging日志等级是Python标准库的一部分,用于在程序中记录和输出信息。日志等级描述了日志的重要性,用于过滤和控制日志输出。以下是Python logging库中的日志等级(按照从低到高的顺序):

logging日志等级

日志等级         描述
DEBUG 详细信息,用于调试程序
INFO 普通信息,用于描述程序运行状态
WARNING 警告信息,表示程序可能存在问题但并不严重
ERROR 错误信息,表示程序遇到了不可恢复的错误
CRITICAL 严重错误信息,表示程序遇到了致命的错误

通常情况下,使用INFO日志等级即可,但碰到调试问题时,可以使用DEBUG来进行详细追踪。而警告、错误和严重错误信息则需要引起重视,及时进行处理。可以通过设置日志等级及过滤器筛选所需日志输出。

三、logging四大组件

  1. logger:用于记录应用程序中发生的事件,如信息、错误和警告等。它们通常按照严重性级别被分为不同的级别,如debug、info、warning、error和critical。
  2. handler:用于控制何时和如何将记录的事件发送到目标位置,如控制台、文件、数据库或网络等。
  3. formatter:用于指定日志记录的格式,包括时间戳、级别和消息等。
  4. filter:用于控制哪些日志记录将被记录,以及哪些将被忽略。可以基于日志级别、消息内容和来源等条件进行筛选。

四、封装示例

下面是一个简单使用logging库输出日志的示例:

import logging
 
# 创建一个日志对象
logger = logging.getLogger(__name__)
 
# 设置日志级别
logger.setLevel(logging.INFO)
 
# 创建一个输出到控制台的处理器
console_handler = logging.StreamHandler()
 
# 设置日志格式
formatter = logging.Formatter('%(asctime)s:%(levelname)s:%(message)s')
console_handler.setFormatter(formatter)
 
# 添加处理器到日志对象中
logger.addHandler(console_handler)
 
# 输出日志
logger.debug('debug message')
logger.info('info message')
logger.warning('warning message')
logger.error('error message')
logger.critical('critical message')

以上示例代码中,首先创建了一个日志对象,并设置了日志输出的级别为INFO。然后创建了一个输出到控制台的处理器,并且设置了日志输出格式。最后添加处理器到日志对象中并输出日志。


运行以上代码,可以看到输出了不同级别的日志信息。因为设置了输出级别为INFO,所以只输出INFO及以上级别的日志信息,DEBUG和WARNING级别的日志信息没有被输出。

总结

除了logging库,Python还有以下库可以记录日志:

  1. Logbook:一个灵活、强大、易于使用的日志库;
  2. Loguru:易于使用的日志库,支持颜色和可选的Stack Trace;
  3. Sentry:一个全功能的日志记录、错误收集、实时事件监视和警报的平台;
  4. Python自带的syslog模块:可以将日志信息发送到本地syslog守护进程;
  5. Graylog:一个开源的日志管理平台,支持多种输入输出方式。

这些库都可以提供不同程度的日志记录功能,使用时需要根据实际需求进行选择。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
消息中间件 搜索推荐 小程序
开源埋点用户行为分析方案-ClickLog埋点(ClkLog)
ClkLog 是一款记录用户行为分析和画像的免费可商用开源软件,技术人员可快速搭建私有的应用系统。项目基于神策分析SDK,采用ClickHouse数据库对采集数据进行存储,采用前后端分离的方式来实现的访问统计和用户画像分析系统。在这里,你可以轻松看到用户访问网页、APP、小程序或业务系统的行为轨迹,同时也可以从时间、地域、渠道、用户访客类型等多维度了解用户的全方位信息,完美助力大数据用户画像、实时归因/离线归因分析、漏斗分析、大数据推荐场景。
开源埋点用户行为分析方案-ClickLog埋点(ClkLog)
|
7月前
|
SQL 运维 监控
面经:Druid实时数据分析系统设计与应用
【4月更文挑战第11天】本文探讨了Apache Druid在大数据实时分析中的关键作用,通过面试经验分享了Druid的系统架构、SQL查询、性能调优和与其他系统的对比。核心知识点包括Druid的分布式组件(Broker、Historical、MiddleManager、Coordinator)、数据处理流程、查询优化技术以及运维策略。理解这些概念和实践不仅能帮助求职者在面试中脱颖而出,也为实际工作中的高效数据处理打下坚实基础。
98 3
|
SQL 分布式计算 Oracle
「集成架构」2020年最好的15个ETL工具(第一部)
「集成架构」2020年最好的15个ETL工具(第一部)
|
存储 Kubernetes 数据可视化
9款日志管理工具大比拼,选型必备!
9款日志管理工具大比拼,选型必备!
|
存储 SQL Kubernetes
开源日志收集 肿么选型??
开源日志收集 肿么选型??
281 0
|
Java Spring
项目日志处理
项目日志处理
项目日志处理
|
存储 消息中间件 负载均衡
ELK日志系统终极架构
ELK终极架构 ELK终极架构 ELK终极架构 1.ELK终极架构图 2.部署终极ELK架构
405 0
ELK日志系统终极架构
|
存储 Prometheus Kubernetes
日志系统新贵 Loki,真香!!
最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的背景。
1235 0
日志系统新贵 Loki,真香!!