使用 curl 命令分析请求的耗时情况

标签: Blog Blog | 发表时间:2022-06-23 08:00 | 作者:
出处:https://jueee.github.io/

最近工作中遇到一个问题,某个请求的响应特别慢,因此我就希望有一种方法能够分析到底请求的哪一步耗时比较长,好进一步找到问题的原因。

在网络上搜索了一下,发现了一个非常好用的方法, curl 命令就能帮助分析请求的各个部分耗时情况。

curl 参数

curl 命令提供了 -w 参数,这个参数在 manpage 是这样解释的:

  -w, --write-out <format>              Make curl display information on stdout after a completed transfer. The format is a string that may contain plain text mixed with any number of variables. The  format              can  be  specified  as  a literal "string", or you can have curl read the format from a file with "@filename" and to tell curl to read the format from stdin you write              "@-".              The variables present in the output format will be substituted by the value or text that curl thinks fit, as described below. All variables are specified  as  %{vari‐              able_name} and to output a normal % you just write them as %%. You can output a newline by using \n, a carriage return with \r and a tab space with \t.

它能够按照指定的格式打印某些信息,里面可以使用某些特定的变量,而且支持 \n、\t 和 \r 转义字符。提供的变量很多,比如 status_code、local_port、size_download 等等,这篇文章我们只关注和请求时间有关的变量(以 time_ 开头的变量)。

试用

  $ curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_nslookup:%{time_namelookup}\ntime_total: %{time_total}\n" "https://www.baidu.com"time_connect: 0.009time_starttransfer: 0.065time_nslookup:0.007time_total: 0.065

步骤

先往文本文件 curl.txt 写入下面的内容:

     time_namelookup:  %{time_namelookup}\n      time_connect:  %{time_connect}\n   time_appconnect:  %{time_appconnect}\n     time_redirect:  %{time_redirect}\n  time_pretransfer:  %{time_pretransfer}\ntime_starttransfer:  %{time_starttransfer}\n                   ----------\n        time_total:  %{time_total}\n

每个变量的解释如下:

  time_namelookup:DNS 域名解析的时候,就是把 https://baidu.com 转换成 ip 地址的过程time_connect:TCP 连接建立的时间,就是三次握手的时间time_appconnect:SSL/SSH 等上层协议建立连接的时间,比如 connect/handshake 的时间time_redirect:从开始到最后一个请求事务的时间time_pretransfer:从请求开始到响应开始传输的时间time_starttransfer:从请求开始到第一个字节将要传输的时间time_total:这次请求花费的全部时间

示例

例子:

  $ curl -w "@curl.txt" -o /dev/null -s -L  'http://www.baidu.com'time_namelookup:  0.004       time_connect:  0.015    time_appconnect:  0.000      time_redirect:  0.000   time_pretransfer:  0.015 time_starttransfer:  0.027                    ----------         time_total:  0.027

可以看到这次请求各个步骤的时间都打印出来了,每个数字的单位都是秒(seconds),这样可以分析哪一步比较耗时,方便定位问题。这个命令各个参数的意义:

  -w:从文件中读取要打印信息的格式-o /dev/null:把响应的内容丢弃,因为我们这里并不关心它,只关心请求的耗时情况-s:不要打印进度条从这个输出,我们可以算出各个步骤的时间:DNS 查询:4msTCP 连接时间:pretransfter(15) - namelookup(4) = 11ms服务器处理时间:starttransfter(27) - pretransfer(15) = 12ms内容传输时间:total(27) - starttransfer(27) = 0ms

-w 参数详解

以下是 - w 参数对应的一些变量以及对应的解释:

  • url_effective 最终获取的 url 地址,尤其是当你指定给 curl 的地址存在 301 跳转,且通过 - L 继续追踪的情形。
  • http_code http 状态码,如 200 成功,301 转向,404 未找到,500 服务器错误等。(The numerical response code that was found in the last retrieved HTTP (S) or FTP (s) transfer. In 7.18.2 the alias response_code was added to show the same info.)
  • http_connect The numerical code that was found in the last response (from a proxy) to a curl CONNECT request. (Added in 7.12.4)
  • time_total 总时间,按秒计。精确到小数点后三位。 (The total time, in seconds, that the full operation lasted. The time will be displayed with millisecond resolution.)
  • time_namelookup DNS 解析时间,从请求开始到 DNS 解析完毕所用时间。(The time, in seconds, it took from the start until the name resolving was completed.)
  • time_connect 连接时间,从开始到建立 TCP 连接完成所用时间,包括前边 DNS 解析时间,如果需要单纯的得到连接时间,用这个 time_connect 时间减去前边 time_namelookup 时间。以下同理,不再赘述。(The time, in seconds, it took from the start until the TCP connect to the remote host (or proxy) was completed.)
  • time_appconnect 连接建立完成时间,如 SSL/SSH 等建立连接或者完成三次握手时间。(The time, in seconds, it took from the start until the SSL/SSH/etc connect/handshake to the remote host was completed. (Added in 7.19.0))
  • time_pretransfer 从开始到准备传输的时间。(The time, in seconds, it took from the start until the file transfer was just about to begin. This includes all pre-transfer commands and negotiations that are specific to the particular protocol (s) involved.)
  • time_redirect 重定向时间,包括到最后一次传输前的几次重定向的 DNS 解析,连接,预传输,传输时间。(The time, in seconds, it took for all redirection steps include name lookup, connect, pretransfer and transfer before the final transaction was started. time_redirect shows the complete execution time for multiple redirections. (Added in 7.12.3))
  • time_starttransfer 开始传输时间。在发出请求之后,Web 服务器返回数据的第一个字节所用的时间 (The time, in seconds, it took from the start until the first byte was just about to be transferred. This includes time_pretransfer and also the time the server needed to calculate the result.)
  • size_download 下载大小。(The total amount of bytes that were downloaded.)
  • size_upload 上传大小。(The total amount of bytes that were uploaded.)
    size_header 下载的 header 的大小 (The total amount of bytes of the downloaded headers.)
  • size_request 请求的大小。(The total amount of bytes that were sent in the HTTP request.)
  • speed_download 下载速度,单位 - 字节每秒。(The average download speed that curl measured for the complete download. Bytes per second.)
  • speed_upload 上传速度,单位 - 字节每秒。(The average upload speed that curl measured for the complete upload. Bytes per second.)
  • content_type 就是 content-Type,不用多说了,这是一个访问我博客首页返回的结果示例 (text/html; charset=UTF-8);(The Content-Type of the requested document, if there was any.)
  • num_connects 最近的的一次传输中创建的连接数目。Number of new connects made in the recent transfer. (Added in 7.12.3)
  • num_redirects 在请求中跳转的次数。Number of redirects that were followed in the request. (Added in 7.12.3)
    redirect_url When a HTTP request was made without -L to follow redirects, this variable will show the actual URL a redirect would take you to. (Added in 7.18.2)
  • ftp_entry_path 当连接到远程的 ftp 服务器时的初始路径。The initial path libcurl ended up in when logging on to the remote FTP server. (Added in 7.15.4)
  • ssl_verify_result ssl 认证结果,返回 0 表示认证成功。(The result of the SSL peer certificate verification that was requested. 0 means the verification was successful. (Added in 7.19.0))

相关 [curl 命令 分析] 推荐:

使用 curl 命令分析请求的耗时情况

- - 小决的专栏
最近工作中遇到一个问题,某个请求的响应特别慢,因此我就希望有一种方法能够分析到底请求的哪一步耗时比较长,好进一步找到问题的原因. 在网络上搜索了一下,发现了一个非常好用的方法, curl 命令就能帮助分析请求的各个部分耗时情况. curl 命令提供了 -w 参数,这个参数在 manpage 是这样解释的:.

Curl 使用指南

- - IT瘾-dev
Curl 是一个常用的命令行数据传输工具,可以方便的从命令行创建网络请求. 它支持众多协议,支持如 HTTP, HTTPS, FTP, FTPS, SFTP, IMAP, SMTP, POP3 等等协议. Curl 提供了很多强大的功能,我们可以利用它来进行 HTTP 请求、上传/下载文件等,且支持 Cookie、用户密码验证、代理隧道、限速等.

curl网站开发指南

- Andy - 阮一峰的网络日志
我一向以为,curl只是一个编程用的函数库. 最近才发现,这个命令本身,就是一个无比有用的网站开发工具,请看我整理的它的用法. curl是一种命令行工具,作用是发出网络请求,然后得到和提取数据,显示在"标准输出"(stdout)上面. 它支持多种协议,下面举例讲解如何将它用于网站开发. 直接在curl命令后加上网址,就可以看到网页源码.

PHP,CURL和你的安全!

- - WebHek
如果最近你在美国看电视,你会经常看到一个广告——一个和蔼友善的家伙说“我希望我的电脑被病毒感染”,“我希望所有我家的照片都被人删除,找不回来. ”或“我希望我的笔记本运转的声音听起来像打雷. 当然,没有一个正常人希望遇到这样的痛苦,但如果你不对自己的电脑采取保护措施,结果就是让黑客得逞. 你需要理解,这就像在你家里,车或钱袋子,你不能让它们都敞着口放在外面,你不能认为陌生路人都是可信的.

使用curl来调试你的应用

- - SegmentFault 最新的文章
我们在客户端开发过程中总免不了和后端进行api对接,有时候需要对返回的数据格式进行调试,有时候每次运行客户端来发送请求,这个未免效率太低,这里就来介绍一个好用的工具--curl. curl是一个向服务器传输数据的工具,它支持http、https、ftp、ftps、scp、sftp、tftp、telnet等协议,这里只针对http进行讲解一些常用的用法,具体安装请自行搜索.

Google 正在实现自己的 curl

- - 最新更新 – Solidot
curl 开发者 Daniel Stenberg 称, Google 正在实现自己的 curl. Google 使用 Chromium 的网络协议栈 Cronet 去实现名为 libcrurl 的库,并将提供 libcurl API. Google 将使用自己的库去创造自己的 curl 工具.

Let's make a SOAP request from command line(curl)?

- -
There could be a chance where you need to make a request from your command line rather than installing a tool such.

linux tcpdump命令以及结果分析

- - CSDN博客系统运维推荐文章
tcpdump能帮助我们捕捉并保存网络包,保存下来的网络包可用于分析网络负载情况,包可通过tcpdump命令解析,也可以保存成后缀为pcap的文件,使用wireshark等软件进行查看. 1.针对特定网口抓包(-i选项). 当我们不加任何选项执行tcpdump时,tcpdump将抓取通过所有网口的包;使用-i选项,我们可以在某个指定的网口抓包:.

使用 curl 指令對網站測試載入速度

- - SSORC.tw
編輯一個檔案 cross.txt. 參考 How to Test Website Loading Speed in Linux. 這篇文章 使用 curl 指令對網站測試載入速度 最早出現於 SSORC.tw.

漏洞分析:Struts2 S2-020在Tomcat 8下的命令执行分析

- - Seay's blog 网络安全博客
Struts S2-020这个通告已经公布有一段时间了. 目前大家都知道这个漏洞可以造成DOS、文件下载等危害,相信各大厂商也已经采取了相应的安全措施. 今天是和大家分享一下对这个漏洞的一点研究,包括如何在Tomcat 8下导致RCE,目的是抛砖引玉,有不足之处欢迎大家指出. 这个漏洞分析的一个难点在于:通过ognl的class.xx这种方式来遍历属性时,得到的是实际运行环境中的动态class,因此仅作静态分析是很困难的.