在Linux上使用logwatch分析监控日志文件

简介:

1. 介绍

在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态。 如登陆历史、邮件、软件安装等日志。系统管理员一个个去检查会十分不方便;且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看日志以获取异常的信息。那么如何主动、集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要。

logwatch 是一款用 Perl 语言编写的开源日志解析分析器。它能对原始的日志文件进行解析并转换成结构化格式的文档,也能根据您的使用情况和需求来定制报告。logwatch 的主要目的是生成更易于使用的日志摘要,并不是用来对日志进行实时的处理和监控的。正因为如此,logwatch 通常被设定好时间和频率的自动定时任务来调度运行或者是有需要日志处理的时候从命令行里手动运行。一旦日志报告生成,logwatch 可以通过电子邮件把这报告发送给您,您可以把它保存成文件或者直接显示在屏幕上。

Logwatch 报告的详细程度和报告覆盖范围是完全可定制化的。Logwatch 的日志处理引擎也是可扩展的,从某种意义上来说,如果您想在一个新的应用程序中使用 logwatch 功能的话,只需要为这个应用程序的日志文件编写一个日志处理脚本(使用 Perl 语言),然后挂接到 logwatch 上就行。

logwatch 有一点不好的就是,在它生成的报告中没有详细的时间戳信息,而原来的日志文件中是存在的。您只能知道被记录下来的一段时间之内的特定事件,如果想要知道精确的时间点的信息,就不得不去查看原日志文件了。

2. 安装与配置说明

2.1 安装

无论在Debian系还是Redhat系上,安装logwatch都非常简单:

# apt-get install logwatch     //Debian、Ubuntu.etc
# yum install logwatch -y       //Redhat、Centos.etc

以下内容基于 CentOS 6.x,其余系统相差不大。

2.2 配置

2.2.1 配置文件说明

安装后的目录文件说明:

/usr/share/logwatch
    default.conf/     # 配置目录
        logwatch.conf   # 主配置文件,收件人,级别等
        logfiles/       # 定义待分析服务的日志文件组路径,相对于/var/log(*.conf)
        services/       # 自定义需分析日志的Service目录(*.conf)
    scripts/          # 可执行脚本
        logwatch.pl     # 启动分析的perl脚本,/usr/sbin/logwatch的源链接
        logfiles/       # 可包含多个logwatch日志文件组的子目录,对应的日志服务运行的时候,子目录下的脚本会自动被调用
        services/       # logwatch日志服务的过滤脚本,一一对应
        shared/         # 可被多个logwatch日志服务引用的脚本
    dist.conf/
        logfiles/
        services/
    lib/

默认情况下使用的是/usr/share/logwatch/default.conf/logwatch.conf作为主配置文件,但在/etc/logwatch/conf/logwatch.conf中的存在配置选项会覆盖前一个(/usr/share/logwatch下的logwatch.conf还是会起作用,比如在/etc/logwatchlogwatch.conf中没有的选项)。但优先级最高的是在执行命令行中指定的选项。

/etc/logwatch下也存在一个与/usr/share/logwatch类似的目录结构,可以在这里添加自定义的监控日志信息。

从上面的目录结构划分大概可以了解到 logwatch 的原理:logwatch 首先要知道针对哪一个服务, 从这个服务中得到需要处理的 log 文件信息, 然后这个文件送给过滤脚本处理,之后把处理后格式化的信息展现出。内部细节请看第3篇参考。

2.2.2 编辑配置

/usr/share/doc/logwatch-7.3.6/HOWTO-Customize-LogWatch文件中有这里的详细的配置说明。

个人还是习惯在/etc/logwatch/下管理配置文件,但又不太希望同时两个配置文件生效,所以对/usr/share/logwatch/default.conf/logwatch.conf备份,然后软链接/etc/logwatch/conf/logwatch.conf

ln -s /usr/share/logwatch/default.conf/logwatch.conf /etc/logwatch/conf/logwatch.conf

试着执行logwatch --service sshd --print感受一下处理的结果。接下来修改/etc/logwatch/conf/logwatch.conf文件的默认配置来做些个性化设置。

修改日志分析级别

Detail = <Low, Med, High, or a number>

“Detail” 配置指令控制着 logwatch 报告的详细程度。它可以是个正整数,也可以是分别代表着10、5和0数字的 High、Med、Low 几个选项。这里设置成High。(配置文件中是不区分大小写的)

指定报告收件人

MailTo = youremailaddress@yourdomain.com

MailFrom = youremailaddress@yourdomain.com

MailTo指定logwatch日志报告接收人,要把一份报告发送给多个用户,只需要把他们的邮件地址用空格或逗号隔开,但是logwatch认为你已经配置好本地邮件服务器(sendmail或postfix),并能正确传递给用户邮箱。

MailFrom,顾名思义,指定发件人。邮件地址可以说完整的收件人地址,也可以是服务器上的本地用户如root(有的邮件服务器不支持显示发件人别名)。

指定发送邮件的客户端

mailer = "sendmail -t"

默认采用的是sendmail(不是sendmail服务器),而且一般没什么问题。在我的环境下有点特殊,邮件服务器必须通过smtp认证才能发送邮件,不支持匿名和其他本地MTA投递的邮件,而sendmail我一直没有找到设置smtp用户和密码认证的地方(知道的烦请告知),所以就改用了mailer = "mailx -t",然后在/etc/mail.rc中设置fromsmtpsmtp-auth-usersmtp-auth-passwordsmtp-auth参数,但使用mailx带来的问题是后面设置邮件报告格式为html时,无法设置header信息从而foxmail不能解析html正文。尝试了 sendEmail 也没很好的解决。

大部分人情况可能没这么复杂,其实就是一个发件客户端的功能,网上得知有 mutt 结合 msmtp 可以解决该问题:

# yum install -y mutt       //mutt其实可以不安装
# tar jxvf msmtp-1.4.16.tar.bz2 && cd msmtp-1.4.16
# ./configure && make && make install

# vi ~/.msmtprc 
  account default
  host your.smtp-server.com
  from username@smtp-server.com
  auth login
  user username
  password your_auth_pwd
  logfile ~/msmtp.log

# 如果使用mutt发送,还需要设置~/.muttrc

将 mailer 改成mailer = "msmtp -t"

输出格式

Output = <mail, html or unformatted>

默认不指定输出格式(plain text),系统管理员通过邮件客户端(如foxmail)看到的邮件内容是文本形式,比较简单、节省带宽;可以指定为html,此时看到的是可点击链接的友好的页面。

当同时设定了Save = /tmp/logwatch时,便不会发送邮件报告了,将会根据Output指定的格式保存到一个Save文件中。

另外在有的文章里指定Format选项,经过本人试验在7.3.6版本中无效。

收集日志的范围

Range = <Yesterday|Today|All>

Range配置指令定义了生成 logwatch 报告的时间段信息。这个指令通常可选的值是 Yesterday、Today、All。当作用了Rang = All时,Archive = yes 这个指令项也必须配置上,那么所有的已存档的日志文件 (比如,/var/log/maillog、/var/log/maillog-20150111)都会被处理到。

如果我们是通过 crontab 每天收集的话,可以只报告昨天或今天的日志情况。

收集哪些服务的日志

Service = <service-name-1>
Service = <service-name-2>
. . .

Service选项指定想要监控的一个或多个服务。在/usr/share/logwatch/scripts/services目录下列出的服务都能被监控,它们已经涵盖了重要的系统服务(例如:pam,secure,iptables,syslogd 等),也涵盖了一些像 sudo、sshd、http、fail2ban、samba等主流的应用服务。如果您想添加新的服务到列表中,得编写一个相应的日志处理 Perl 脚本,并把它放在这个目录中。

对于一个综合日志分析工具,logwatch推荐大多数人使用Service = "All",然后通过继续添加Service = "-service_name"等来去掉那些不监控的日志。当然在服务器上,并不是所有script下的服务都有启动,有些并没有日志。

命令行指定logwatch选项

如果您不想个性化 /etc/logwatch/conf/logwatch.conf,您可以不修改此文件让其默认,然后在命令行里运行如下所示的命令:

# logwatch --detail 10 --mailto youremailaddress@yourdomain.com --range today \
>  --service sshd --service postfix --service zz-disk_space --service -zz-network \
> --output mail 

logwatch.conf完整示例

LogDir = /var/log
TmpDir = /var/cache/logwatch
Print = No

Range = yesterday
Detail = High

MailTo = zhouxiao@example.com
MailFrom = itsection@example.com
mailer = "msmtp -t"
Output = html

Service = All
Service = "-zz-network" 
Service = "-zz-sys"
Service = "-eximstats" 

3. 扩展

3.1 cron daily

我们可以看到在 crontab 定时任务设定目录下存在/etc/cron.daily/0logwatch

#!/bin/bash

DailyReport=`grep -e "^[[:space:]]*DailyReport[[:space:]]*=[[:space:]]*" /usr/share/logwatch/default.conf/logwatch.conf | head -n1 | sed -e "s|^\s*DailyReport\s*=\s*||"`

if [ "$DailyReport" != "No" ] && [ "$DailyReport" != "no" ]
then
    logwatch
fi

如果在logwatch.conf中显式设置了选项DailyReport = No,则会取消logwatch每日执行任务。如果你要修改cron.daily的执行时间,可以删掉这个0logwatch然后添加到/etc/crontab里,或者修改/etc/anacrontabSTART_HOURS_RANGE

所以 logwatch 的工作不是监控日志异常后及时报警的工具,因为默认它是每天一封整合的邮件,并不具有及时性(安装perl的CPAN模块后可以更精确的控制logwatch时间,详见第一份参考)。

3.2 定制自己要监控的日志

用一个简单的例子介绍自定义logwatch的配置方法。

首先创建logwatch日志文件组
/etc/logwatch/conf/logfiles/test.conf

LogFile = /path/to/your/logfile
LogFile = /path/to/your/second/logfile

然后创建logwatch服务配置文件
/etc/logwatch/conf/services/test.conf

Title = test title     # 日志文件里的标题
LogFile = test   # logwatch日志文件组的名字,通常是对应的配置文件的文件名部分

创建logwatch服务过滤器脚本
/etc/logwatch/scripts/services/test

#!/bin/bash

grep -i ERROR

上面的脚本会从日志文件里过滤出包含ERROR的行。最后,为新建的脚本添加执行权限:

chmod +x /etc/logwatch/scripts/services/test
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
2月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
117 2
|
3月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
405 122
基于docker搭建监控系统&日志收集
|
3月前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中,日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践,涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转,以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法,可提升系统的可观测性与运维效率。
385 1
日志收集和Spring 微服务监控的最佳实践
|
3月前
|
存储 缓存 监控
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
本文介绍基于C++红黑树算法实现公司监控电脑软件的日志高效管理,利用其自平衡特性提升日志排序、检索与动态更新效率,并结合实际场景提出优化方向,增强系统性能与稳定性。
148 4
|
8月前
|
监控 测试技术 Go
告别传统Log追踪!GOAT如何用HTTP接口重塑代码监控
本文介绍了GOAT(Golang Application Tracing)工具的使用方法,通过一个Echo问答服务实例,详细展示了代码埋点与追踪技术的应用。内容涵盖初始化配置、自动埋点、手动调整埋点、数据监控及清理埋点等核心功能。GOAT适用于灰度发布、功能验证、性能分析、Bug排查和代码重构等场景,助力Go项目质量保障与平稳发布。工具以轻量高效的特点,为开发团队提供数据支持,优化决策流程。
553 89
|
5月前
|
监控 Linux 应用服务中间件
linux查看日志文件tail -f用法
在 Linux 中,查看和监控日志文件是系统管理员和开发者常用的操作之一。tail 命令就是用来查看文件内容的,它默认显示文件的最后部分。tail -f 是 tail 命令的一个非常有用的选项,用于实时查看和跟踪日志文件的更新,尤其是在监控运行中的服务时非常有用。
744 0
|
8月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
571 52
|
7月前
|
运维 监控 中间件
Linux运维笔记 - 如何使用WGCLOUD监控交换机的流量
WGCLOUD是一款开源免费的通用主机监控工具,安装使用都非常简单,它可以监控主机、服务器的cpu、内存、磁盘、流量等数据,也可以监控数据库、中间件、网络设备
|
9月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
447 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
9月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
252 3