深入学习linux日志系统(1)

这是深入了解linux日志系统的第一篇。共二篇。
一:日志简介
日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。日志主要的功能有：审计和监测。他还可以实时的监测系统状态，监测和追踪侵入者等等。
在Linux系统中，有三个主要的日志子系统：
(1).连接时间日志----由多个程序执行，把纪录写入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。
(2).进程统计----由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。
(3).错误日志----由syslogd执行。各种系统守护进程、用户程序和内核通过syslog向文件/var/log/messages报告值得注意的事件。另外有许多UNIX程序创建日志。像HTTP和FTP这样提供网络服务的服务器也保持详细的日志。
每个使用UNIX/LINUX的人都知道日志的用处，那你是否清楚LINUX这些日志信息处理的来龙去脉呢？
我们可以看到LINUX系统信息日志的途径基本有以下2种：
（1）dmesg
（2）/var/log/下的文件
下面我们就从这个2个途径着手,一步步的走下去.
（一）首先,我们来看dmesg这个常见的命令背后隐藏的是什么!!
 

（1）先让我们来man一下
-------------man dmesg--------------------------
NAME
dmesg - print or control the kernel ring buffer
SYNOPSIS
dmesg [ -c ] [ -n level ] [ -s bufsize ]
DESCRIPTION
dmesg is used to examine or control the kernel ring buffer.
The program helps users to print out their bootup mes- sages. Instead of copying the messages by hand, the user need only:
………………
从LINUX提供的手册,我们可以得知一条最重要的信息dmesg是从kernel 的ring buffer(环缓冲区)中读取信息的.
 

（2）那什么是ring buffer呢?
在LINUX中,所有的系统信息(包内核信息)都会传送到ring buffer中.而内核产生的信息由printk()打印出来。系统启动时所看到的信息都是由该函数打印到屏幕中。 printk（）打出的信息往往以<0><2>...这的数字表明消息的重要级别。高于一定的优先级别会打印到屏幕上， 否则只会保留在系统的缓冲区中(ring buffer)。
至于dmesg具体是如何从ring buffer中读取的,大家可以看dmesg.c源代码.很短,比较容易读懂.
 

（二）dmesg怎么搞的大家应该很明白了吧.至于/var/log/下的文件更是大家熟悉得不能再熟悉了!
（1）/var/log/..下为什么有这么多文件呢?
一句话解释: 是syslogd这个守护进程根据/etc/syslog.conf,将不同的服务产生的Log记录到不同的文件中.
这里的/etc/syslog.conf我就不细说了,很多这方面的信息.
（2）既然知道了,/var/log/..是由syslogd这个守护进程产生的.那就再顺着这条线走下去.
LINUX系统启动后，由/etc/init.d/sysklogd先后启动klogd,syslogd两个守护进程。
其中klogd会通过syslog()系统调用或者读取proc文件系统来从系统缓冲区(ring buffer)中得到由内核printk()
发出的信息.而syslogd是通过klogd来读取系统内核信息.
我想至此,大家心理应该对log产生,读取等一系列的动作有所感觉.
总结：
（1）所有系统信息是输出到ring buffer中去的.dmesg所显示的内容也是从ring buffer中读取的.
（2）LINUX系统中/etc/init.d/sysklogd会启动2个守护进程:Klogd&&Syslogd
（3）klogd是负责读取内核信息的,有2种方式: syslog()系统调用(这个函数用法比较全,大家去MAN一下看看) 直接的对/proc/kmsg进行读取(再这提一下,/proc/kmsg是专门输出内核信息的地方)
（4）Klogd的输出结果会传送给syslogd进行处理,syslogd会根据/etc/syslog.conf的配置把log 信息输出到/var/log/下的不同文件中。
 

二:常用的日志文件
access-log 纪录HTTP/web的传输
acct/pacct 纪录用户命令
aculog 纪录MODEM的活动
btmp 纪录失败的纪录
lastlog 纪录最近几次成功登录的事件和最后一次不成功的登录
messages 从syslog中记录信息（有的链接到syslog文件）
sudolog 纪录使用sudo发出的命令
sulog 纪录使用su命令的使用
syslog 从syslog中记录信息（通常链接到messages文件）
utmp 纪录当前登录的每个用户  /var/run/utmp 
wtmp 一个用户每次登录进入和退出时间的永久纪录  /var/log/wtmp 系统重启及系统状态变化情况。
xferlog 纪录FTP会话
utmp、wtmp和lastlog日志文件是多数重用UNIX日志子系统的关键--保持用户登录进入和退出的纪录。
有关当前登录用户的信息记录在文件utmp中；[针对当前已LOGIN的用户]
登录进入和退出纪录在文件wtmp中；[针对用户的所有历史记录，明细表]
最后一次登录文件可以用lastlog命令察看。
数据交换、关机和重起也记录在wtmp文件中。所有的纪录都包含时间戳。这些文件（lastlog通常不大）在具有大量用户的系统中增长十分迅速。例如 wtmp文件可以无限增长，除非定期截取。许多系统以一天或者一周为单位把wtmp配置成循环使用。它通常由cron运行的脚本来修改。这些脚本重新命名并循环使用wtmp文件。通常，wtmp在第一天结束后命名为wtmp.1；第二天后wtmp.1变为wtmp.2等等，直到wtmp.7。
每次有一个用户登录时，login程序在文件lastlog中察看用户的UID。如果找到了，则把用户上次登录、退出时间和主机名写到标准输出中，然后login程序在lastlog中纪录新的登录时间。在新的lastlog纪录写入后，utmp文件打开并插入用户的utmp纪录。该纪录一直用到用户登录退出时删除。 下一步，login程序打开文件wtmp附加用户的utmp纪录。当用户登录退出时，具有更新时间戳的同一utmp纪录附加到文件中。
LOGIN----刷新LAGTLOG----写入用户的utmp纪录-----退出时删除utmp中相应的纪录------LOGIN根据utmp更新对应wtmp文件中的记录。
utmp文件被各种命令文件使用，包括who、w、users和finger。均针对系统已login in的用户
wtmp文件被程序last和ac使用。这两个命令所按历史记录进行统计
 

三:具体命令
wtmp和utmp文件都是二进制文件，他们不能被诸如tail命令剪贴或合并（使用cat命令）。用户需要使用who、w、users、last和ac来使用这两个文件包含的信息。
who：who命令查询utmp文件并报告当前登录的每个用户。Who的缺省输出包括用户名、终端类型、登录日期及远程主机。
#who
chyang pts/0 Aug 18 15:06
ynguo pts/2 Aug 18 15:32
如果指明了wtmp文件名，则who命令查询所有以前的纪录。命令who /var/log/wtmp将报告自从wtmp文件创建或删改以来的每一次登录。
w：w命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息。
#w
3:36pm up 1 day, 22:34, 6 users, load average: 0.23, 0.29, 0.27
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
chyang pts/0 202.38.68.242 3:06pm 2:04 0.08s 0.04s -bash
users：users用单独的一行打印出当前登录的用户，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示相同的次数。
#users
chyang lewis lewis ylou ynguo ynguo
last：last命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户。例如：
#last
chyang pts/9 202.38.68.242 Tue Aug 1 08:34 - 11:23 (02:49)
cfan pts/6 202.38.64.224 Tue Aug 1 08:33 - 08:48 (00:14)
如果指明了用户，那么last只报告该用户的近期活动，例如：
#last root
root pts/4 simba.nic.ustc.e Fri Aug 4 16:50 - 08:20 (15:30)
root pts/4 simba.nic.ustc.e Thu Aug 3 23:55 - 04:40 (04:44)
root pts/11 simba.nic.ustc.e Thu Aug 3 20:45 - 22:02 (01:16)
ac：ac命令根据当前的/var/log/wtmp文件中的登录进入和退出来报告用户连结的时间小时），如果不使用标志，则报告总的时间。
#ac
total 123.45
ac -d显示每天的总的连结时间
#ac -d
Aug 12 total 261.87
Aug 13 total 351.39
Aug 14 total 396.09
Aug 15 total 462.63
Aug 16 total 270.45
Aug 17 total 104.29
Today total 179.02
ac -p显示每个用户的总的连接时间
#ac -p
ynguo 193.23
yucao 3.35
rong 133.40
hdai 10.52
zjzhu 52.87
zqzhou 13.14
liangliu 24.34
total 5178.24
lastlog：lastlog文件在每次有用户登录时被查询。可以使用lastlog命令来检查某特定用户上次登录的时间，并格式化输出上次登录日志/var/log/lastlog的内容。
它根据UID排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog显示"**Never logged**。
注意需要以root运行该命令，例如：
#lastlog
rong 5 202.38.64.187 Fri Aug 18 15:57:01 +0800 2000
dbb **Never logged in**
xinchen **Never logged in**
pb9511 **Never logged in**
xchen 0 202.38.64.190 Sun Aug 13 10:01:22 +0800 2000
另外，可一加一些参数，例如，last -u 102将报告UID为102的用户；last -t 7表示限制上一周的报告。