HttpClient 与 Close_Wait

标签: httpclient close wait | 发表时间:2014-05-25 22:03 | 作者:zhlj11
出处:http://www.iteye.com

服务器A需要通过HttpClient去连接另一个系统B提供的服务,运行一段时间后抛出以下异常:

java.net.SocketException: Connection reset by peer: socket write error close_wait

 

在服务器B上运行netstat命令,发现大量连接处于 CLOSE_WAIT 状态。

问题分析:

简单来说CLOSE_WAIT数目过大是由于被动关闭连接处理不当导致的。

我说一个场景,服务器A会去请求服务器B上面的apache获取文件资源,正常情况下,如果请求成功,那么在抓取完资源后服务器A会主动发出关闭连接的请求,这个时候就是主动关闭连接,连接状态我们可以看到是TIME_WAIT。如果一旦发生异常呢?假设请求的资源服务器B上并不存在,那么这个时候就会由服务器B发出关闭连接的请求,服务器A就是被动的关闭了连接,如果服务器A被动关闭连接之后自己并没有释放连接,那就会造成CLOSE_WAIT的状态了。

 

所以很明显,问题还是处在程序里头。

 

原始代码块:

  1. try  
  2.         {  
  3.             client = HttpConnectionManager.getHttpClient();  
  4.             HttpGet get = new HttpGet();  
  5.             get.setURI(new URI(urlPath));  
  6.             HttpResponse response = client.execute(get);  
  7.             if (response.getStatusLine ().getStatusCode () != 200) {  
  8.                 return null;  
  9.             }  
  10.             HttpEntity entity =response.getEntity();  
  11.               
  12.             if( entity != null ){  
  13.                 in = entity.getContent();  
  14.                 .....  
  15.             }  
  16.             return sb.toString ();  
  17.               
  18.         }  
  19.         catch (Exception e)  
  20.         {  
  21.             e.printStackTrace ();  
  22.             return null;  
  23.         }  
  24.         finally  
  25.         {  
  26.             if (isr != null){  
  27.                 try  
  28.                 {  
  29.                     isr.close ();  
  30.                 }  
  31.                 catch (IOException e)  
  32.                 {  
  33.                     e.printStackTrace ();  
  34.                 }  
  35.             }  
  36.             if (in != null){  
  37.                 try  
  38.                 {  
  39.                     <span style="color:#ff0000;">in.close ();</span>  
  40.                 }  
  41.                 catch (IOException e)  
  42.                 {  
  43.                     e.printStackTrace ();  
  44.                 }  
  45.             }  
  46.         } 

HttpClient使用我们常用的InputStream.close()来确认连接关闭,分析上面的代码,一旦出现非200的连接,这个连接将永远僵死在连接池里头,因为inputStream得不到初始化,永远不会调用close()方法了。

 

通过代码稍微修改,更严谨的处理异常情况就可以解决问题了:

  1. public static String readNet (String urlPath)  
  2.     {  
  3.         StringBuffer sb = new StringBuffer ();  
  4.         HttpClient client = null;  
  5.         InputStream in = null;  
  6.         InputStreamReader isr = null;  
  7.         HttpGet get = new HttpGet();  
  8.         try  
  9.         {  
  10.             client = HttpConnectionManager.getHttpClient();  
  11.             get.setURI(new URI(urlPath));  
  12.             HttpResponse response = client.execute(get);  
  13.             if (response.getStatusLine ().getStatusCode () != 200) {  
  14.                 get.abort();  
  15.                 return null;  
  16.             }  
  17.             HttpEntity entity =response.getEntity();  
  18.               
  19.             if( entity != null ){  
  20.                 in = entity.getContent();  
  21.                 ......  
  22.             }  
  23.             return sb.toString ();  
  24.               
  25.         }  
  26.         catch (Exception e)  
  27.         {  
  28.             get.abort();  
  29.             e.printStackTrace ();  
  30.             return null;  
  31.         }  
  32.         finally  
  33.         {  
  34.             if (isr != null){  
  35.                 try  
  36.                 {  
  37.                     isr.close ();  
  38.                 }  
  39.                 catch (IOException e)  
  40.                 {  
  41.                     e.printStackTrace ();  
  42.                 }  
  43.             }  
  44.             if (in != null){  
  45.                 try  
  46.                 {  
  47.                     in.close ();  
  48.                 }  
  49.                 catch (IOException e)  
  50.                 {  
  51.                     e.printStackTrace ();  
  52.                 }  
  53.             }  
  54.         }  
  55.     }  

 

 

 

显示调用HttpGet的abort,这样就会直接中止这次连接,我们在遇到异常的时候应该显示调用,因为谁能保证异常是在InputStream in赋值之后才抛出的呢。

 

 

more:

首先我们知道,如果我们的服务器程序处于CLOSE_WAIT状态的话,说明套接字是被动关闭的!
因为如果是CLIENT端主动断掉当前连接的话,那么双方关闭这个TCP连接共需要四个packet:

Client –-> FIN  –-> Server
Client <–- ACK  <–- Server
这时候Client端处于FIN_WAIT_2状态;而Server 程序处于CLOSE_WAIT状态。
Client <–- FIN  <–- Server
这时Server 发送FIN给Client,Server 就置为LAST_ACK状态。
Client –-> ACK  –-> Server
Client回应了ACK,那么Server 的套接字才会真正置为CLOSED状态。

Server 程序处于CLOSE_WAIT状态,而不是LAST_ACK状态,说明还没有发FIN给Client,那么可能是在关闭连接之前还有许多数据要发送或者其他事要做,导致没有发这个FIN packet。
通常来说,一个CLOSE_WAIT会维持至少2个小时的时间(这个时间外网服务器通常会做调整,要不然太危险了)。如果有个流氓特地写了个程序,给你造成一堆的CLOSE_WAIT,消耗
你的资源,那么通常是等不到释放那一刻,系统就已经解决崩溃了。
只能通过修改一下TCP/IP的参数,来缩短这个时间:修改tcp_keepalive_*系列参数有助于解决这个问题。
但是实际上,还是主要是因为我们的程序代码有问题,

 

more:

最近做httpclient做转发服务,发现服务器上总是有很多close_wait状态的连接,而且这些连接都不会关闭,最后导致服务器没法建立新的网络连接,从而停止响应。 
        后来在网上搜索了一下,发现解决的方法也很简单,如果想重用连接,那就使用连接管理器,从连接管理器里获取连接,然后定时的用连接管理器来释放空闲连接。httpclient自带了SimpleHttpConnectionManager,提供了

Java代码   收藏代码
  1. closeIdleConnections(long idleTimeout)   

这样的方法。 
        如果不需要重用链接,则直接在httpmethod创建时,设置一个http头信息就可以了 

Java代码   收藏代码
  1. httpmethod.setRequestHeader("Connection", "close");  


这样就不会有恼人的close_wait了。



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [httpclient close wait] 推荐:

wait、sleep、yield区别

- - CSDN博客推荐文章
1、属于Object的本地方法. 2、暂停当前线程,并释放锁. 3、调用notify()或notifyAll()方法唤醒线程. 1、Thread类的静态方法. 2、当前线程休眠,但不释放锁. 3、其他线程可以继续执行,无论该线程优先级高与否. 4、休眠一段时间后,自动执行. 1、Thread类的静态方法.

HttpClient 与 Close_Wait

- - 互联网 - ITeye博客
服务器A需要通过HttpClient去连接另一个系统B提供的服务,运行一段时间后抛出以下异常:. 在服务器B上运行netstat命令,发现大量连接处于 CLOSE_WAIT 状态. 简单来说CLOSE_WAIT数目过大是由于被动关闭连接处理不当导致的. 我说一个场景,服务器A会去请求服务器B上面的apache获取文件资源,正常情况下,如果请求成功,那么在抓取完资源后服务器A会主动发出关闭连接的请求,这个时候就是主动关闭连接,连接状态我们可以看到是TIME_WAIT.

Httpclient远程调用WebService示例(Eclipse+httpclient)

- - 企业架构 - ITeye博客
我们将Web Service发布在Tomcat或者其他应用服务器上后,有很多方法可以调用该Web Service,常用的有两种:.       1、通过浏览器HTTP调用,返回规范的XML文件内容.       2、通过客户端程序调用,返回结果可自定义格式.       接下来,我利用Eclipse作为开发工具,演示一个Httpclient调用WebService的简单示例.

HttpClient使用详解

- - CSDN博客推荐文章
HttpClient:是一个接口. 首先需要先创建一个DefaultHttpClient的实例. 先创建一个HttpGet对象,传入目标的网络地址,然后调用HttpClient的execute()方法即可:. 创建一个HttpPost对象,传入目标的网络地址:. 通过一个NameValuePair集合来存放待提交的参数,并将这个参数集合传入到一个UrlEncodedFormEntity中,然后调用HttpPost的setEntity()方法将构建好的UrlEncodedFormEntity传入:.

Java多线程之wait()和notify()

- - CSDN博客推荐文章
直接看测试代码吧,细节之处,详见注释.  * Java多线程之wait()和notify()的妙用 .  * @see 问题:同时启动两个线程和同时启动四个线程,控制台打印结果是不同的 .  * @see      同时启动两个线程时,控制台会很规律的输出1010101010101010 .  * @see      同时启动四个线程时,控制台起初会规律的输出10101010,一旦某一刻输出一个负数,那么后面的输出就会"一错再错" .

java多线程设计wait/notify机制

- - CSDN博客推荐文章
  当线程A获得了obj锁后,发现条件condition不满足,无法继续下一处理,于是线程A就wait() , 放弃对象锁..   之后在另一线程B中,如果B更改了某些条件,使得线程A的condition条件满足了,就可以唤醒线程A:.   # 调用obj的wait(), notify()方法前,必须获得obj锁,也就是必须写在synchronized(obj) {…} 代码段内.

Java多线程之wait和notify

- - ITeye博客
最近在看Java特种兵,看到多线程部分,对wait和notify不是很理解,于是写了代码来帮助理解.              wait方法通过参数可以指定等待的时长. 如果没有指定参数,默认一直等待直到被通知. notify方法是通知某个正在等待这个对象的控制权的线程可以继续运行. 调用wait方法时候,必须加上synchronized同步块,不然会抛出java.lang.IllegalMonitorStateException异常.

Apache HttpClient 4.3开发指南

- - CSDN博客推荐文章
《Apache HttpClient 4.3开发指南》. 作者:chszs,转载需注明. 博客主页: http://blog.csdn.net/chszs. Apache HttpClient 4系列已经发布很久了,但由于它与HttpClient 3.x版本完全不兼容,以至于业内采用此库的公司较少,在互联网上也少有相关的文档资料分享.

Android HttpURLConnection及HttpClient选择

- - Trinea
介绍Android中Http请求方式的选择、区别及几个常用框架对API的选择. Android Http请求API主要分两种:. 第一种是Java的HttpURLConnection,默认带gzip压缩. 第二种Apache的HttpClient,默认不带gzip压缩. 两种方式请求connection都是keep alive,默认User-Agent不同.

HttpClient 连接池管理

- - IT瘾-dev
随着微服务的流行,服务之间的http调用越来越多. 在java里面我们可以使用httpclient这个开源工具类来进行处理,但若使用不当,可能性能会比较差,尤其是连接池是否能正常使用. 接下来会详细分析下httpclient的连接池原理. 使用httpclient的好处. 1)、降低延迟:如果不采用连接池,每次连接发起Http请求的时候都会重新建立TCP连接(经历3次握手),用完就会关闭连接(4次挥手),如果采用连接池则减少了这部分时间损耗.