[转]tcpdump抓取HTTP包

标签： | 发表时间：2016-08-12 01:16 | 作者：newjueqi
出处：http://blog.csdn.net/newjueqi

http://blog.csdn.net/kofandlizi/article/details/8106841


cpdump -XvvennSs 0 -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854

 

0x4745 为"GET"前两个字母"GE"

0x4854 为"HTTP"前两个字母"HT"


说明： 通常情况下:一个正常的TCP连接，都会有三个阶段:1、TCP三次握手;2、数据传送;3、TCP四次挥手

里面的几个概念：

  • SYN: (同步序列编号,Synchronize Sequence Numbers)
  • ACK: (确认编号,Acknowledgement Number)
  • FIN: (结束标志,FINish)

TCP三次握手(创建 OPEN)

  1. 客户端发起一个和服务创建TCP链接的请求，这里是SYN(J)
  2. 服务端接受到客户端的创建请求后，返回两个信息： SYN(K) + ACK(J+1)
  3. 客户端在接受到服务端的ACK信息校验成功后(J与J+1)，返回一个信息：ACK(K+1)
  4. 服务端这时接受到客户端的ACK信息校验成功后(K与K+1)，不再返回信息，后面进入数据通讯阶段

数据通讯

  1. 客户端/服务端 read/write数据包

TCP四次握手(关闭 finish)

  1. 客户端发起关闭请求，发送一个信息：FIN(M)
  2. 服务端接受到信息后，首先返回ACK(M+1),表明自己已经收到消息。
  3. 服务端在准备好关闭之前，最后发送给客户端一个 FIN(N)消息，询问客户端是否准备好关闭了
  4. 客户端接受到服务端发送的消息后，返回一个确认信息: ACK(N+1)
  5. 最后，服务端和客户端在双方都得到确认时，各自关闭或者回收对应的TCP链接。

详细的状态说明(以及linux相关参数调整)

  1. SYN_SEND
    • 客户端尝试链接服务端，通过open方法。也就是 TCP三次握手 中的第1步之后,注意是客户端状态
    • sysctl -w net.ipv4.tcp_syn_retries = 2 ,做为客户端可以设置SYN包的重试次数，默认5次(大约180s)引用校长的话：仅仅重试2次，现代网络够了
  2. SYN_RECEIVED
    • 服务接受创建请求的SYN后，也就是 TCP三次握手 中的第2步，发送ACK数据包之前
    • 注意是服务端状态,一般15个左右正常，如果很大，怀疑遭受SYN_FLOOD攻击
    • sysctl -w net.ipv4.tcp_max_syn_backlog=4096 , 设置该状态的等待队列数，默认1024，调大后可适当防止syn-flood，可参见 man 7 tcp
    • sysctl -w net.ipv4.tcp_syncookies=1 ,　打开syncookie，在syn backlog队列不足的时候，提供一种机制临时将syn链接换出
    • sysctl -w net.ipv4.tcp_synack_retries = 2 ,做为服务端返回ACK包的重试次数，默认5次(大约180s)引用校长的话：仅仅重试2次，现代网络够了
  3. ESTABLISHED
    • 客户端接受到服务端的ACK包后的状态，服务端在发出ACK在一定时间后即为ESTABLISHED
    • sysctl -w net.ipv4.tcp_keepalive_time = 1200 ，默认为7200秒(2小时)，系统针对空闲链接会进行心跳检查，如果超过net.ipv4.tcp_keepalive_probes * net.ipv4.tcp_keepalive_intvl = 默认11分，终止对应的tcp链接，可适当调整心跳检查频率
    • 目前线上的监控 waring:600 , critial : 800
  4. FIN_WAIT1
    • 主动关闭的一方，在发出FIN请求之后，也就是在 TCP四次握手 的第1步
  5. CLOSE_WAIT
    • 被动关闭的一方，在接受到客户端的FIN后，也就是在 TCP四次握手 的第2步
  6. FIN_WAIT2
    • 主动关闭的一方，在接受到被动关闭一方的ACK后，也就是 TCP四次握手 的第2步
    • sysctl -w net.ipv4.tcp_fin_timeout=30, 可以设定被动关闭方返回FIN后的超时时间，有效回收链接，避免syn-flood.
  7. LASK_ACK
    • 被动关闭的一方，在发送ACK后一段时间后(确保客户端已收到)，再发起一个FIN请求。也就是 TCP四次握手 的第3步
  8. TIME_WAIT
    • 主动关闭的一方，在收到被动关闭的FIN包后，发送ACK。也就是 TCP四次握手 的第4步
    • sysctl -w net.ipv4.tcp_tw_recycle = 1 , 打开快速回收TIME_WAIT，Enabling this option is not recommended since this causes problems when working with NAT (Network Address Translation)
    • sysctl -w net.ipv4.tcp_tw_reuse =1, 快速回收并重用TIME_WAIT的链接, 貌似和tw_recycle有冲突，不能重用就回收?
    • net.ipv4.tcp_max_tw_buckets: 处于time_wait状态的最多链接数，默认为180000.

相关说明

  1. 主动关闭方在接收到被动关闭方的FIN请求后，发送成功给对方一个ACK后,将自己的状态由FIN_WAIT2修改为TIME_WAIT，而必须 再等2倍的MSL(Maximum Segment Lifetime,MSL是一个数据报在internetwork中能存在的时间)时间之后双方才能把状态 都改为CLOSED以关闭连接。目前RHEL里保持TIME_WAIT状态的时间为60秒
  2. keepAlive策略可以有效的避免进行三次握手和四次关闭的动作

其他网络重要参数

net.ipv4.tcp_rmem 参数

  • 默认值： min=4096 default=87380 max=4194304

net.ipv4.tcp_wmem 参数

  • 默认值： min=4096 default=16384 max=4194304

tcpdump

tcpdump是linux系统自带的抓包工具，主要通过命令行的方式，比较适合在线上服务器进行抓包操作，如果是windows或者ubuntu完全可 以选择一些图形化的工具，ubuntu比较推荐用wireshark，安装方式很简单sudo apt一下即可。

命令行格式：

tcpdump [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ][ -i 网络接口 ] [ -r 文件名] [ -s snaplen ][ -T 类型 ] [ -w 文件名 ] [表达式 ]

常用的参数：

-l 　　　使标准输出变为缓冲行形式；
-n 　　 不把网络地址转换成名字；

-c 　　　在收到指定的包的数目后，tcpdump就会停止；
-i 　　　指定监听的网络接口；(如果没有指定可能在默认网卡上监听，需要指定绑定了特定IP的网卡)
-w 　　 直接将包写入文件中，并不分析和打印出来；
-s 指定记录package的大小，常见 -s 0 ，代表最大值65535，一半linux传输最小单元MTU为1500，足够了

-X 直接输出package data数据，默认不设置，只能通过-w指定文件进行输出

常用表达式：

  1. 关于类型的关键字，主要包括host，net，port
  2. 传输方向的关键字，主要包括src , dst ,dst or src, dst and src
  3. 协议的关键字，主要包括fddi,ip ,arp,rarp,tcp,udp等类型
  4. 逻辑运算，取非运算是 'not ' '! ', 与运算是'and','&&';或运算 是'or' ,'||'
  5. 其他重要的关键字如下：gateway, broadcast,less,greater

实际例子：

1. http数据包抓取 (直接在终端输出package data)

tcpdump tcp port 80 -n -X -s 0 指定80端口进行输出

2. 抓取http包数据指定文件进行输出package

tcpdump tcp port 80 -n -s 0 -w /tmp/tcp.cap

对应的/tmp/tcp.cap基本靠肉眼已经能看一下信息，比如http Header , content信息等

3. 结合管道流

tcpdump tcp port 80 -n -s 0 -X -l | grep xxxx

这样可以实时对数据包进行字符串匹配过滤

4. mod_proxy反向代理抓包

线上服务器apache+jetty，通过apache mod_proxy进行一个反向代理，80 apache端口, 7001 jetty端口

apache端口数据抓包：　tcpdump tcp port 80 -n -s 0 -X -i eth0 　　注意：指定eth0网络接口

jetty端口数据抓包：　tcpdump tcp port 7001 -n -s 0 -X -i lo 注意：指定Loopback网络接口

5. 只监控特定的ip主机

tcpdump tcp host 10.16.2.85 and port 2100 -s 0 -X　

需要使用tcp表达式的组合，这里是host指示只监听该ip

小技巧：

1. 可结合tcpdump(命令) + wireshark(图形化)

操作：　

  • 在服务器上进行tcpdump -w /tmp/tcp.cap 指定输出外部文件
  • scp /tmp/tcp.cap 拷贝文件到你本地
  • wireshark & 　启动wireshark
  • 通过　File -> Open 　打开拷贝下来的文件，这样就可以利用进行数据包分析了
  • 剩下来的事就非常方便了

作者：newjueqi 发表于2016/8/11 17:16:38 原文链接
阅读：6 评论：0 查看评论

相关 [tcpdump http] 推荐：

[转]tcpdump抓取HTTP包

- - 曾健生的专栏
0x4745 为"GET"前两个字母"GE". 0x4854 为"HTTP"前两个字母"HT". 说明： 通常情况下:一个正常的TCP连接，都会有三个阶段:1、TCP三次握手;2、数据传送;3、TCP四次挥手. SYN: (同步序列编号,Synchronize Sequence Numbers). ACK: (确认编号,Acknowledgement Number).

tcpdump命令

- - CSDN博客推荐文章
英文原意是dump traffic on a network ,即截获网络上的数据报，可以根据指定的网络接口来截获不同的数据报. 它会输出在某个网络接口上符合匹配表达式的报内容的描述. 当tcpdump完成抓包后，会打印出类似下面的内容： . 当然，在读取网络上的数据包时，得需要特权，比如linux上的超级用户.

Linux下使用tcpdump使用

- - ITeye博客
(监听22端口，只抓取20个数据包). src ＞ dst:表明从源地址到目的地址, flags是TCP包中的标志信息,S 是SYN标志, F (FIN), P (PUSH) , R (RST) "." (没有标记); data-seqno是数据包中的数据的顺序号, ack是下次期望的顺序号, window是接收缓存的窗口大小, urgent表明数据包中是否有紧急指针.

Linux抓包工具tcpdump详解

- - 服务器运维与网站架构|Linux运维|互联网研究
PS：tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具. tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具. tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具.

linux tcpdump命令以及结果分析

- - CSDN博客系统运维推荐文章
tcpdump能帮助我们捕捉并保存网络包，保存下来的网络包可用于分析网络负载情况，包可通过tcpdump命令解析，也可以保存成后缀为pcap的文件，使用wireshark等软件进行查看. 1.针对特定网口抓包(-i选项). 当我们不加任何选项执行tcpdump时，tcpdump将抓取通过所有网口的包；使用-i选项，我们可以在某个指定的网口抓包：.

Tcpdump的用法及使用案例

- - CSDN博客系统运维推荐文章
       Tcpdump工具是Unix和linux系统抓网络数据库包最有效的工具，windows上类似的工具是wireshark. tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析. 它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息.

利用tcpdump抓取mysql sql语句

- - 学习笔记
这个脚本是我之前在网上无意间找个一个利用tcpdump 抓包工具获取mysql流量，并通过过滤把sql 语句输入. 脚本不是很长，但是效果很好. #!/bin/bash #this script used montor mysql network traffic.echo sql tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | perl -e ' while(<>) { chomp; next if /^[^ ]+[ ]*$/;.

HTTP Headers 入门

- johnny - Time Machine
非常感谢 @ytzong 同学在twitter上推荐这篇文章，原文在此. 本文系统的对HTTP Headers进行了简明易懂的阐述，我仅稍作笔记. 什么是HTTP Headers. HTTP是“Hypertext Transfer Protocol”的所写，整个万维网都在使用这种协议，几乎你在浏览器里看到的大部分内容都是通过http协议来传输的，比如这篇文章.

HTTP基础

- - ITeye博客
HTTP的结构主要包括下面几个要点：. HTTP的版本主要有1.0,1.1 和更高版本.    1.1 及以上版本允许在一个TCP连接上传送多个HTTP协议，1.0能 .    1.1 及以上版本多个请求和响应可以重叠，1.0不能.    1.1 增加了很多的请求头和响应头.     一个请求行，若干小心头，以及实体内容，其中的一些消息头和实体内容是可选的，消息头和实体内容需要空行隔开.

HTTP Header 详解

- - 博客园_Ruby's Louvre
HTTP（HyperTextTransferProtocol）即超文本传输协议，目前网页传输的的通用协议. HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应. 就整个网络资源传输而言，包括message-header和message-body两部分. 首先传递message- header，即 http header消息.