网站排障分析常用的命令

标签: 网站排障分析 命令 | 发表时间:2012-11-08 17:24 | 作者:Mike.Xu
出处:http://www.dbasky.net/
系统连接状态篇:
1.查看TCP连接状态
netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn

netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}' 或
netstat -n | awk '/^tcp/ {++state[$NF]}; END {for(key in state) print key,"\t",state[key]}'
netstat -n | awk '/^tcp/ {++arr[$NF]};END {for(k in arr) print k,"\t",arr[k]}'

netstat -n |awk '/^tcp/ {print $NF}'|sort|uniq -c|sort -rn

netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c

2.查找请求数请20个IP(常用于查找攻来源):
netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20

netstat -ant |awk '/:80/{split($5,ip,":");++A[ip[1]]}END{for(i in A) print A[i],i}' |sort -rn|head -n20

3.用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1″."$2″."$3″."$4}' | sort | uniq -c | sort -nr |head -20

4.查找较多time_wait连接
netstat -n|grep TIME_WAIT|awk '{print $5}'|sort|uniq -c|sort -rn|head -n20

5.找查较多的SYN连接
netstat -an | grep SYN | awk '{print $5}' | awk -F: '{print $1}' | sort | uniq -c | sort -nr | more

6.根据端口列进程
netstat -ntlp | grep 80 | awk '{print $7}' | cut -d/ -f1

网站日志分析篇1(Apache):

1.获得访问前10位的ip地址
cat access.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}'

2.访问次数最多的文件或页面,取前20
cat access.log|awk '{print $11}'|sort|uniq -c|sort -nr|head -20

3.列出传输最大的几个exe文件(分析下载站的时候常用)
cat access.log |awk '($7~/\.exe/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -20

4.列出输出大于200000byte(约200kb)的exe文件以及对应文件发生次数
cat access.log |awk '($10 > 200000 && $7~/\.exe/){print $7}'|sort -n|uniq -c|sort -nr|head -100

5.如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面
cat access.log |awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100

6.列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

7.列出传输时间超过 30 秒的文件
cat access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20

8.统计网站流量(G)
cat access.log |awk '{sum+=$10} END {print sum/1024/1024/1024}'

9.统计404的连接
awk '($9 ~/404/)' access.log | awk '{print $9,$7}' | sort

10. 统计http status.
cat access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'
cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

10.蜘蛛分析
查看是哪些蜘蛛在抓取内容。
/usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

网站日分析2(Squid篇)

2.按域统计流量
zcat squid_access.log.tar.gz| awk '{print $10,$7}' |awk 'BEGIN{FS="[ /]"}{trfc[$4]+=$1}END{for(domain in trfc){printf "%s\t%d\n",domain,trfc[domain]}}'

效率更高的perl版本请到此下载:http://docs.linuxtone.org/soft/tools/tr.pl

数据库篇
1.查看数据库执行的sql
/usr/sbin/tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'

系统Debug分析篇

1.调试命令
strace -p pid

2.跟踪指定进程的PID
gdb -p pid

相关 [网站 分析 命令] 推荐:

网站排障分析常用的命令

- - DBA Blog
netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}' 或. 2.查找请求数请20个IP(常用于查找攻来源):. 3.用tcpdump嗅探80端口的访问看看谁最高. tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1″."$2″."$3″."$4}' | sort | uniq -c | sort -nr |head -20.

linux tcpdump命令以及结果分析

- - CSDN博客系统运维推荐文章
tcpdump能帮助我们捕捉并保存网络包,保存下来的网络包可用于分析网络负载情况,包可通过tcpdump命令解析,也可以保存成后缀为pcap的文件,使用wireshark等软件进行查看. 1.针对特定网口抓包(-i选项). 当我们不加任何选项执行tcpdump时,tcpdump将抓取通过所有网口的包;使用-i选项,我们可以在某个指定的网口抓包:.

漏洞分析:Struts2 S2-020在Tomcat 8下的命令执行分析

- - Seay's blog 网络安全博客
Struts S2-020这个通告已经公布有一段时间了. 目前大家都知道这个漏洞可以造成DOS、文件下载等危害,相信各大厂商也已经采取了相应的安全措施. 今天是和大家分享一下对这个漏洞的一点研究,包括如何在Tomcat 8下导致RCE,目的是抛砖引玉,有不足之处欢迎大家指出. 这个漏洞分析的一个难点在于:通过ognl的class.xx这种方式来遍历属性时,得到的是实际运行环境中的动态class,因此仅作静态分析是很困难的.

网站白名单可行性分析

- 意大利种马 - 月光博客
  从今年5月6日开始发生的大范围国际出口访问故障,似乎印证了18个月前的一则新闻报道:《工信部拟推境外域名白名单制度》,2009年12月份的这篇报道曾经引发了当时网络界的恐慌,让众多中小网站面临的生存危机.   所谓“白名单”的概念与“黑名单”相对应. 黑名单启用后,被列入到黑名单的网站不能访问.

网站新老用户分析

- 飞鸽 - 互联网的那点事...
网站中新老用户的分析已经成为了网站分析中常见的一类用户细分的方法,也是网站分析中用户分析的一个重要组成. Google Analytics中对新老用户的命名分别为New Visitors和Returning Visitors,同时也为许多的分析指标提供了基于新老用户的细分. 简单地说,新用户就是首次访问网站或者首次使用网站服务的用户;而老用户则是之前访问过网站或者使用过网站服务的用户.

网站首页点击分布分析

- - 蓝鲸的网站分析笔记
首页,是网站中最重要的一个页面,通常也是被浏览次数最多的页面. 我相信在大部分网站的Google Analytics内容报告中,首页在 综合浏览量指标中都是排在第一位的. 同时,首页也是网站中最特殊的一个页面,他相当于整个网站的一个目录,为访问者提供了网站中最有价值的内容简介和入口链接,通过首页访问者可以到达网站的大部分区域.

大型门户网站架构分析

- - 网站架构_搜搜博客搜索
   大型门户网站架构分析.   千万人同时访问的网站,一般是有很多个数据库同时工作,说明白一点就是数据库集群和并发控制,这样的网站实时性也是相对的. 这些网站都有一些共同的特点:数据量大,在线人数多,并发请求多,pageview高,响应速度快. 总结了一下各个大网站的架构,主要提高效率及稳定性的几个地方包括:.

浅谈网站路径分析

- - 蓝鲸的网站分析笔记
在前面的文章中我们曾经介绍过对于网站的分析分为四个主要的部分,分别是访问者分析,流量渠道分析,内容分析和转化分析. 到目前为止,流量渠道和转化是我们关注最多的两部分内容. 在关于 网站分析的文章中大部分都是关于如何衡量和优化流量渠道,以及提高转化率的内容. 而对于网站内容分析则提及的较少. 今天的文章我们关注网站内容分析中的路径分析.

Statmyweb:免费网站分析工具

- - TechWeb 新酷网站 RSS阅读
  Statmyweb是一个专门为网站提供详细、准确统计数据的服务. 简单点说就是一个免费的网站分析工具. 对于想了解和分析网站的站长、网站开发人员来说,这无疑是一款相当实用的工具. SEO小部件贴纸 支持代码嵌入网站.   网站操作简单方便,用户只需输入网址,系统就会列出该网站的各种详细数据,并且还会给出分数、价值等.

网站分析十必问(上)

- - 蓝鲸的网站分析笔记
近半年没有更新博客了,一是因为忙,二是因为懒. 我觉得在工作之余能有一些自己的事情,并且还能把它坚持下来是一件很幸福的事情. 2012年我将继续更新我的博客. 坚持写博客对我有两个好处:1帮助我进行思考. 每一次写作的过程也是一次思考的过程. 很多东西嘴上说说容易,但一落实到笔头上就会发现还有很多的问题没有想明白.