shell脚本分析nginx日志

标签： shell 脚本 分析 | 发表时间：2013-11-20 17:17 | 作者：marb
出处：http://www.iteye.com
178.255.215.86 - - [04/Jul/2013:00:00:31 +0800] "GET /tag/316/PostgreSQL HTTP/1.1" 200 4779 "-" "Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)" "-"- 
178.255.215.86 - - [04/Jul/2013:00:00:34 +0800] "GET /tag/317/edit HTTP/1.1" 303 5 "-" "Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)" "-"- 
103.29.134.200 - - [04/Jul/2013:00:00:34 +0800] "GET /code-snippet/2022/edit HTTP/1.0" 303 0 "-" "Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/17.0 Firefox/17.0" "-"- 
103.29.134.200 - - [04/Jul/2013:00:00:35 +0800] "GET /user/login?url=http%3A//outofmemory.cn/code-snippet/2022/edit HTTP/1.0" 200 4748 "-" "Mozilla/5.0 (Windows NT 6.1; rv:17.0) Gecko/17.0 Firefox/17.0" "-"-

 

以下脚本都是基于上面日志格式的，如果你的日志格式不同需要调整awk后面的参数。

分析日志中的UserAgent

cat access_20130704.log | awk -F "\""'{print $(NF-3)}'| sort | uniq -c | sort -nr | head -20

上面的脚本将分析出日志文件中最多的20个UserAgent

分析日志中那些IP访问最多

cat access_20130704.log | awk '{print $1}'| sort | uniq -c | sort -nr | head -20

分析日志中那些Url请求访问次数最多

cat access_20130704.log | awk -F "\""'{print $(NF-5)}'| sort | uniq -c | sort -nr | head -20


已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐



相关 [shell 脚本 分析] 推荐：

shell脚本分析nginx日志

- - 互联网 - ITeye博客
以下脚本都是基于上面日志格式的，如果你的日志格式不同需要调整awk后面的参数. 分析日志中的UserAgent. 上面的脚本将分析出日志文件中最多的20个UserAgent. 分析日志中那些IP访问最多. 分析日志中那些Url请求访问次数最多. 已有 0 人发表留言，猛击->> 这里<<-参与讨论.

生成MySQL性能数据分析报告的Shell脚本

- EricSheng - MySQLOPS 数据库与运维自动化技术分享
【导读】 MySQL开源产品有非常丰富的分享出来可用的资源，比如本文要介绍的内容：如何每天简单地获得MySQL性能数据的报告，我们就可以利用perl脚本工具mysqlreport生成详细的性能数据分析报告，再借助sendEmail工具以邮件的方式发送出来，从而提高我们的工作效率，上期给大家介绍了SHELL脚本Get_Local_Kpi对我们工作的帮助.

面向对象的Shell脚本

- jejer - 酷壳 - CoolShell.cn
还记得以前那个用算素数的正则表达式吗. 编程这个世界太有趣了，总是能看到一些即别出心裁的东西. 你有没有想过在写Shell脚本的时候可以把你的变量和函数放到一个类中. 不要以为这不可能，这不，我在网上又看到了一个把Shell脚本整成面向对象的东西. Shell本来是不支持的，需要自己做点东西，能搞出这个事事的人真的是hacker啊.

Mysql压力测试shell脚本

- - CSDN博客数据库推荐文章
转载请注明，来自： http://blog.csdn.net/skyman_2001. Mysql自带了压力测试工具mysqlslap，所以我们可以不用自己编写程序来测试Mysql读取的压力. 上面脚本的意思是每隔100ms循环做这样的事：模拟100个mysql客户端，对数据库test的表test执行200次插入（number-of-queries = concurrency * 每个mysql客户端的查询次数，所以这里的每个mysql客户端的查询次数是2次），迭代10次.

常用的主机监控Shell脚本

- - ITeye博客
最近时不时有朋友问我关于服务器监控方面的问题，问常用的服务器监控除了用开源软件，比如：cacti，nagios监控外是否可以自己写shell脚本呢. 根据自己的需求写出的shell脚本更能满足需求，更能细化主机监控的全面性. 下面是我常用的几个主机监控的脚本，大家可以根据自己的情况在进行修改，希望能给大家一点帮助.

Shell 脚本自动Telnet 并执行远端机器的脚本

- - CSDN博客编程语言推荐文章
这里只是连接到远端机器，查看一下当前所在的目录. username/password 是telnet 到远端机器的用户名，密码. sleep 是一个等待时间，根据具体的机器状况或是执行命令的需要的时间来设置. 作者：oscar999 发表于2013-3-26 9:58:32 原文链接. 阅读：0 评论：0 查看评论.

shell 分析nginx日志 - 简书

- -
通过日志查看当天访问页面排前10的. 通过日志查看当天ip连接数,统计ip地址的总连接数. 通过日志查看当天访问次数最多的10个IP ,只需要在上一个命令后加上head命令. 通过日志查看当天指定ip访问次数过的url和访问次数. 通过日志查看当天访问次数最多的时间段.

Linux的系统安全设置Shell脚本

- QQ - 服务器运维与网站架构|Linux运维|互联网研究
本脚本是第二次更新，已经大量应用在某大型媒体网站体系中，加入了之前没有想到的一些安全设置. 使用方法将其复制，保存为一个shell文件，比如security.sh.将其上传到Linux服务器上，执行sh security.sh，就可以使用该脚本了. 建议根据自己的实际需要来修改此脚本，不要盲目使用.

一个自动安装LNMP的简洁Shell脚本

- QQ - 服务器运维与网站架构|Linux运维|互联网研究
此脚本在生产服务器上使用了一年多，本脚本崇尚简单唯美，只需要一个脚本就可以在任何一台有网络的服务器上自动配置LNMP. 本脚本会在脚本执行目录下，建packages目录用于存放LNMP所需要的软件. 1、把shell脚本的内容保存为nginx_php. 在脚本运行过程中需要输入一次y确认. 来源：http://www.freebsdsystem.org/nginx_php_shell/.

检查MySQL数据库服务器的shell脚本

- 铭文 - MySQLOPS 数据库与运维自动化技术分享
某著名电子商务公司的同事，编写的shell脚本，用于获得数据库服务器的数据库性能和配置，以及服务器负载LOAD等信息. shell脚本较长，也对shell脚本做了部分修改，同时为使技术朋友们更容易理解和使用，添加相关的文字和图片描述作为手册. 1.         功能描述. 执行shell命令：sh Get_Local_Kpi.sh –help，能显示相关信息，如图1-1：.