在Linux上使用logwatch分析监控日志文件

标签: linux logwatch | 发表时间:2015-02-05 12:52 | 作者:seanlook
出处:http://segmentfault.com/blogs

1. 介绍

在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态。 如登陆历史、邮件、软件安装等日志。系统管理员一个个去检查会十分不方便;且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看日志以获取异常的信息。那么如何主动、集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要。

logwatch 是一款用 Perl 语言编写的开源日志解析分析器。它能对原始的日志文件进行解析并转换成结构化格式的文档,也能根据您的使用情况和需求来定制报告。logwatch 的主要目的是生成更易于使用的日志摘要,并不是用来对日志进行实时的处理和监控的。正因为如此,logwatch 通常被设定好时间和频率的自动定时任务来调度运行或者是有需要日志处理的时候从命令行里手动运行。一旦日志报告生成,logwatch 可以通过电子邮件把这报告发送给您,您可以把它保存成文件或者直接显示在屏幕上。

Logwatch 报告的详细程度和报告覆盖范围是完全可定制化的。Logwatch 的日志处理引擎也是可扩展的,从某种意义上来说,如果您想在一个新的应用程序中使用 logwatch 功能的话,只需要为这个应用程序的日志文件编写一个日志处理脚本(使用 Perl 语言),然后挂接到 logwatch 上就行。

logwatch 有一点不好的就是,在它生成的报告中没有详细的时间戳信息,而原来的日志文件中是存在的。您只能知道被记录下来的一段时间之内的特定事件,如果想要知道精确的时间点的信息,就不得不去查看原日志文件了。

2. 安装与配置说明

2.1 安装

无论在Debian系还是Redhat系上,安装logwatch都非常简单:

  # apt-get install logwatch     //Debian、Ubuntu.etc
# yum install logwatch -y       //Redhat、Centos.etc

以下内容基于 CentOS 6.x,其余系统相差不大。

2.2 配置

2.2.1 配置文件说明

安装后的目录文件说明:
logwatch-dir-structure

  /usr/share/logwatch
    default.conf/     # 配置目录
        logwatch.conf   # 主配置文件,收件人,级别等
        logfiles/       # 定义待分析服务的日志文件组路径,相对于/var/log(*.conf)
        services/       # 自定义需分析日志的Service目录(*.conf)
    scripts/          # 可执行脚本
        logwatch.pl     # 启动分析的perl脚本,/usr/sbin/logwatch的源链接
        logfiles/       # 可包含多个logwatch日志文件组的子目录,对应的日志服务运行的时候,子目录下的脚本会自动被调用
        services/       # logwatch日志服务的过滤脚本,一一对应
        shared/         # 可被多个logwatch日志服务引用的脚本
    dist.conf/
        logfiles/
        services/
    lib/

默认情况下使用的是 /usr/share/logwatch/default.conf/logwatch.conf作为主配置文件,但在 /etc/logwatch/conf/logwatch.conf中的存在配置选项会覆盖前一个( /usr/share/logwatch下的 logwatch.conf还是会起作用,比如在 /etc/logwatchlogwatch.conf中没有的选项)。但优先级最高的是在执行命令行中指定的选项。

/etc/logwatch下也存在一个与 /usr/share/logwatch类似的目录结构,可以在这里添加自定义的监控日志信息。

从上面的目录结构划分大概可以了解到 logwatch 的原理:logwatch 首先要知道针对哪一个服务, 从这个服务中得到需要处理的 log 文件信息, 然后这个文件送给过滤脚本处理,之后把处理后格式化的信息展现出。内部细节请看第3篇参考。

2.2.2 编辑配置

/usr/share/doc/logwatch-7.3.6/HOWTO-Customize-LogWatch文件中有这里的详细的配置说明。

个人还是习惯在 /etc/logwatch/下管理配置文件,但又不太希望同时两个配置文件生效,所以对 /usr/share/logwatch/default.conf/logwatch.conf备份,然后软链接 /etc/logwatch/conf/logwatch.conf

  ln -s /usr/share/logwatch/default.conf/logwatch.conf /etc/logwatch/conf/logwatch.conf

试着执行 logwatch --service sshd --print感受一下处理的结果。接下来修改 /etc/logwatch/conf/logwatch.conf文件的默认配置来做些个性化设置。

修改日志分析级别

  Detail = <Low, Med, High, or a number>

“Detail” 配置指令控制着 logwatch 报告的详细程度。它可以是个正整数,也可以是分别代表着10、5和0数字的 High、Med、Low 几个选项。这里设置成 High。(配置文件中是不区分大小写的)

指定报告收件人

  MailTo = [email protected]

MailFrom = [email protected]

MailTo指定logwatch日志报告接收人,要把一份报告发送给多个用户,只需要把他们的邮件地址用空格或逗号隔开,但是logwatch认为你已经配置好本地邮件服务器(sendmail或postfix),并能正确传递给用户邮箱。

MailFrom,顾名思义,指定发件人。邮件地址可以说完整的收件人地址,也可以是服务器上的本地用户如root(有的邮件服务器不支持显示发件人别名)。

指定发送邮件的客户端

  mailer = "sendmail -t"

默认采用的是sendmail(不是sendmail服务器),而且一般没什么问题。在我的环境下有点特殊,邮件服务器必须通过smtp认证才能发送邮件,不支持匿名和其他本地MTA投递的邮件,而sendmail我一直没有找到设置smtp用户和密码认证的地方(知道的烦请告知),所以就改用了 mailer = "mailx -t",然后在 /etc/mail.rc中设置 fromsmtpsmtp-auth-usersmtp-auth-passwordsmtp-auth参数,但使用mailx带来的问题是后面设置邮件报告格式为html时,无法设置header信息从而foxmail不能解析html正文。尝试了 sendEmail 也没很好的解决。

大部分人情况可能没这么复杂,其实就是一个发件客户端的功能,网上得知有 mutt 结合 msmtp 可以解决该问题:

  # yum install -y mutt       //mutt其实可以不安装
# tar jxvf msmtp-1.4.16.tar.bz2 && cd msmtp-1.4.16
# ./configure && make && make install

# vi ~/.msmtprc 
  account default
  host your.smtp-server.com
  from [email protected]
  auth login
  user username
  password your_auth_pwd
  logfile ~/msmtp.log

# 如果使用mutt发送,还需要设置~/.muttrc

将 mailer 改成 mailer = "msmtp -t"

输出格式

  Output = <mail, html or unformatted>

默认不指定输出格式(plain text),系统管理员通过邮件客户端(如foxmail)看到的邮件内容是文本形式,比较简单、节省带宽;可以指定为 html,此时看到的是可点击链接的友好的页面。

当同时设定了 Save = /tmp/logwatch时,便不会发送邮件报告了,将会根据 Output指定的格式保存到一个 Save文件中。

logwatch_mail_html

另外在有的文章里指定 Format选项,经过本人试验在7.3.6版本中无效。

收集日志的范围

  Range = <Yesterday|Today|All>

Range配置指令定义了生成 logwatch 报告的时间段信息。这个指令通常可选的值是 Yesterday、Today、All。当作用了 Rang = All时, Archive = yes 这个指令项也必须配置上,那么所有的已存档的日志文件 (比如,/var/log/maillog、/var/log/maillog-20150111)都会被处理到。

如果我们是通过 crontab 每天收集的话,可以只报告昨天或今天的日志情况。

收集哪些服务的日志

  Service = <service-name-1>
Service = <service-name-2>
. . .

Service选项指定想要监控的一个或多个服务。在 /usr/share/logwatch/scripts/services目录下列出的服务都能被监控,它们已经涵盖了重要的系统服务(例如:pam,secure,iptables,syslogd 等),也涵盖了一些像 sudo、sshd、http、fail2ban、samba等主流的应用服务。如果您想添加新的服务到列表中,得编写一个相应的日志处理 Perl 脚本,并把它放在这个目录中。
logwatch-script-service

对于一个综合日志分析工具,logwatch推荐大多数人使用 Service = "All",然后通过继续添加 Service = "-service_name"等来去掉那些不监控的日志。当然在服务器上,并不是所有script下的服务都有启动,有些并没有日志。

命令行指定logwatch选项

如果您不想个性化 /etc/logwatch/conf/logwatch.conf,您可以不修改此文件让其默认,然后在命令行里运行如下所示的命令:

  # logwatch --detail 10 --mailto [email protected] --range today \
>  --service sshd --service postfix --service zz-disk_space --service -zz-network \
> --output mail 

logwatch.conf完整示例

  LogDir = /var/log
TmpDir = /var/cache/logwatch
Print = No

Range = yesterday
Detail = High

MailTo = [email protected]
MailFrom = [email protected]
mailer = "msmtp -t"
Output = html

Service = All
Service = "-zz-network" 
Service = "-zz-sys"
Service = "-eximstats" 

3. 扩展

3.1 cron daily

我们可以看到在 crontab 定时任务设定目录下存在 /etc/cron.daily/0logwatch

  #!/bin/bash

DailyReport=`grep -e "^[[:space:]]*DailyReport[[:space:]]*=[[:space:]]*" /usr/share/logwatch/default.conf/logwatch.conf | head -n1 | sed -e "s|^\s*DailyReport\s*=\s*||"`

if [ "$DailyReport" != "No" ] && [ "$DailyReport" != "no" ]
then
    logwatch
fi

如果在 logwatch.conf中显式设置了选项 DailyReport = No,则会取消logwatch每日执行任务。如果你要修改 cron.daily的执行时间,可以删掉这个 0logwatch然后添加到 /etc/crontab里,或者修改 /etc/anacrontabSTART_HOURS_RANGE

所以 logwatch 的工作不是监控日志异常后及时报警的工具,因为默认它是每天一封整合的邮件,并不具有及时性(安装perl的 CPAN模块后可以更精确的控制logwatch时间,详见第一份参考)。

3.2 定制自己要监控的日志

用一个简单的例子介绍自定义logwatch的配置方法。

首先创建logwatch日志文件组
/etc/logwatch/conf/logfiles/test.conf

  LogFile = /path/to/your/logfile
LogFile = /path/to/your/second/logfile

然后创建logwatch服务配置文件
/etc/logwatch/conf/services/test.conf

  Title = test title     # 日志文件里的标题
LogFile = test   # logwatch日志文件组的名字,通常是对应的配置文件的文件名部分

创建logwatch服务过滤器脚本
/etc/logwatch/scripts/services/test

  #!/bin/bash

grep -i ERROR

上面的脚本会从日志文件里过滤出包含ERROR的行。最后,为新建的脚本添加执行权限:

  chmod +x /etc/logwatch/scripts/services/test

参考


原文链接地址: http://seanlook.com/2014/08/23/linux-logwatch-usage/


相关 [linux logwatch 分析] 推荐:

在Linux上使用logwatch分析监控日志文件

- - SegmentFault 最新的文章
在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态. 如登陆历史、邮件、软件安装等日志. 系统管理员一个个去检查会十分不方便;且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看日志以获取异常的信息. 那么如何主动、集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要.

Linux 性能分析工具 nmon for Linux

- - CSDN博客架构设计推荐文章
nmon 是 Nigel's performance Monitor for Linux on POWER, x86, x86_64, Mainframe & now ARM (Raspberry Pi) 的缩写,意思是 Nigel(nmon 的作者是 Nigel Griffiths) 的 Linux 性能检测器.

linux 启动流程分析

- - 编程学习网
今天,一起探讨操作系统的启动流程. 因为在BIOS阶段,计算机的行为基本上被写死了,程序员可以做的事情并不多;但是,一旦进入操作系统,程序员几乎可以定制所有方面. 所以,这个部分与程序员的关系更密切. 我主要关心的是Linux操作系统,它是目前服务器端的主流操作系统. 下面的内容针对的是Debian发行版,因为我对其他发行版不够熟悉.

linux tcpdump命令以及结果分析

- - CSDN博客系统运维推荐文章
tcpdump能帮助我们捕捉并保存网络包,保存下来的网络包可用于分析网络负载情况,包可通过tcpdump命令解析,也可以保存成后缀为pcap的文件,使用wireshark等软件进行查看. 1.针对特定网口抓包(-i选项). 当我们不加任何选项执行tcpdump时,tcpdump将抓取通过所有网口的包;使用-i选项,我们可以在某个指定的网口抓包:.

Linux性能监控与分析工具

- - CSDN博客系统运维推荐文章
最近需要对一套预研完成的系统性能测试,该系统部署在Linux服务器集群上. 在高并发、高负载场景下收集每台设备资源占用的全部信息(这些信息包括CPU,内存,I/O,磁盘,网络流量等等等),进一步分析系统瓶颈. 这里用上了nmon这款工具. 由nmon负责定期收集全套系统信息,再由nmon_analyser将原始数据转换为可视化的表格与图形.

Linux 开机启动过程分析

- - CSDN博客架构设计推荐文章
开机过程指的是从打开计算机电源直到LINUX显示用户登录画面的全过程. 分析LINUX开机过程也是深入了解LINUX核心工作原理的一个很好的途径. 当 你打开计算机电源,计算机会首先加载BIOS信息,BIOS信息是如此的重要,以至于计算机必须在最开始就找到它. 这是因为BIOS中包含了CPU的相关 信息、设备启动顺序信息、硬盘信息、内存信息、时钟信息、PnP特性等等.

Linux 和 Android 系统性能分析

- - CSDN博客综合推荐文章
作为一名Linux 或 Android 平台的系统工程师,在开发系统新功能外,主要工作就是优化系统性能,使系统上以最优的状态运行,但是由于硬件问题、软件问题、网络环境等的复杂性和多变性,导致对系统的优化变得异常复杂,如何定位性能问题出在哪个方面,是性能优化的一大难题, 从系统入手,阐述由于系统软、硬件配置不当可能造成的性能问题,并且探讨检测系统故障和优化性能的一般方法和流程.

Linux 下的游戏现状分析

- - 开源中国社区最新新闻
虽然桌面版Linux是一个充满诱惑力的平台,但有一点“硬伤”却让很多人没有选择投入Linux的怀抱——那就是PC Gaming. 不管你喜欢与否,Windows平台才是PC Game的事实标准. 你没法指望Linux能对你最爱的游戏提供支持,但是你也可能会感到惊讶:有一些Windows上的游戏可以通过Wine这个兼容层 来在Linux上运行.

Linux下的IO监控与分析

- - 乐无线-无线互联网观察
2010年1月27日,据消息人士透露,搜狐以涉嫌盗版名义将优酷网告上法庭,目前此案已经在北京海淀法院立案. 曾传出已经“握手言和”的张朝阳与古永锵,在距离《中国互联网行业版权自律宣言》发布仅一周后,再次点燃了“战火”. Linux下的IO 监控与分析. 近期要在公司内部做个Linux IO方面的培训, 整理下手头的资料给大家分享下.

Linux系统调用过程分析

- - CSDN博客架构设计推荐文章
《Linux内核设计与实现》. linux的系统调用过程:. 用户程序------>C库(即API):INT 0x80 ----->system_call------->系统调用服务例程-------->内核程序. 先说明一下,我们常说的用户API其实就是系统提供的C库. 系统调用是通过软中断指令 INT 0x80 实现的,而这条INT 0x80指令就被封装在C库的函数中.