1. httpClient介绍
HttpClient是一个实现了http协议的开源Java客户端工具库，可以通过程序发送http请求。
1.1. HttpClient发送请求和接收响应
1.1.1. 代码示例
以Get请求为例，以下代码获得google主页内容并将返回结果打印出来。
public final static void main(String[] args) throws Exception {
HttpClient httpclient = new DefaultHttpClient();
try {
HttpGet httpget = new HttpGet("http://www.google.com/");
System.out.println("executing request " + httpget.getURI());
// 创建response处理器
ResponseHandler<String> responseHandler = new BasicResponseHandler();
String responseBody = httpclient.execute(httpget, responseHandler);
System.out.println("----------------------------------------");
System.out.println(responseBody);
System.out.println("----------------------------------------");
} finally {
//HttpClient不再使用时，关闭连接管理器以保证所有资源的释放
httpclient.getConnectionManager().shutdown();
}
}
1.1.2. 时序图
httpClient执行一次请求，即运行一次httpclient.execute()方法，时序图如下：
1.1.3. 时序图说明
1.1.3.1. 时序图编号说明
² 1.1、1.2、1.3等均为操作1的子操作，即：操作1 execute()中又分别调用了操作1.1 createClientConnectionManager()、操作1.2 createClientRequestDirector()以及操作1.3 requestDirector 对象的execute()方法等，以此类推。
² 按时间先后顺序分别编号为1,2,3等，以此类推。
1.1.3.2. 主要类说明
² 对于图中各对象，httpClient jar包中均提供对应的接口及相应的实现类。
² 图中直接与服务器进行socket通信的是最右端接口OperatedClientConnection某一实现类的对象，图中从右到左进行了层层的封装，最终开发人员直接使用的是接口HttpClient某一实现类的对象进行请求的发送和响应的接收（如2.1.1代码示例）。
² 时序图中各对象所在类关系如下图类图所示（仅列出图中所出现的各个类及方法，参数多的方法省略部分参数，其他类属性和操作请参照源码）：
1.1.3.2.1. 接口OperatedClientConnection
² 该接口对应一个http连接，与服务器端建立socket连接进行通信。
1.1.3.2.2. 接口ManagedClientConnection
² 该接口对一个http连接OperatedClientConnection进行封装，ManagedClientConnection维持一个PoolEntry<HttpRoute, OperatedClientConnection>路由和连接的对应。提供方法获得对应连接管理器，对http连接的各类方法，如建立连接，获得相应，关闭连接等进行封装。
1.1.3.2.3. 接口RequestDirector
² RequestDirector为消息的发送执行者，该接口负责消息路由的选择和可能的重定向，消息的鉴权，连接的分配回收（调用ClientConnectionManager相关方法），建立，关闭等并控制连接的保持。
² 连接是否保持以及保持时间默认原则如下：
n 连接是否保持：客户端如果希望保持长连接，应该在发起请求时告诉服务器希望服务器保持长连接（http 1.0设置connection字段为keep-alive，http 1.1字段默认保持）。根据服务器的响应来确定是否保持长连接，判断原则如下：
u 检查返回response报文头的Transfer-Encoding字段，若该字段值存在且不为chunked，则连接不保持，直接关闭。其他情况进入下一步。
u 检查返回的response报文头的Content-Length字段，若该字段值为空或者格式不正确（多个长度，值不是整数），则连接不保持，直接关闭。其他情况进入下一步
u 检查返回的response报文头的connection字段（若该字段不存在，则为Proxy-Connection字段）值
l 如果这俩字段都不存在，则http 1.1版本默认为保持，将连接标记为保持， 1.0版本默认为连接不保持，直接关闭。
l 如果字段存在，若字段值为close 则连接不保持，直接关闭；若字段值为keep-alive则连接标记为保持。
n 连接保持时间：连接交换至连接管理时，若连接标记为保持，则将由连接管理器保持一段时间；若连接没有标记为保持，则直接从连接池中删除并关闭entry。连接保持时，保持时间规则如下：
u 保持时间计时开始时间为连接交换至连接池的时间。
u 保持时长计算规则为：获取keep-alive字段中timeout属性的值，
l 若该字段存在，则保持时间为 timeout属性值*1000，单位毫秒。
l 若该字段不存在，则连接保持时间设置为-1，表示为无穷。
n 响应头日志示例：
17:59:42.051 [main] DEBUG org.apache.http.headers - << Keep-Alive: timeout=5, max=100
17:59:42.051 [main] DEBUG org.apache.http.headers - << Connection: Keep-Alive
17:59:42.051 [main] DEBUG org.apache.http.headers - << Content-Type: text/html; charset=utf-8
17:59:42.062 [main] DEBUG c.ebupt.omp.sop.srmms.SopHttpClient - Connection can be kept alive for 5000 MILLISECONDS
n 若需要修改连接的保持及重用默认原则，则需编写子类继承自AbstractHttpClient，分别覆盖其 createConnectionReuseStrategy() 和createConnectionKeepAliveStrategy() 方法。
1.1.3.2.4. 接口ClientConnectionManager
² ClientConnectionManager为连接池管理器，是线程安全的。Jar包中提供的具体实现类有BasicClientConnectionManager和PoolingClientConnectionManager。其中BasicClientConnectionManager只管理一个连接。PoolingClientConnectionManager管理连接池。
² 若有特殊需要，开发人员可自行编写连接管理器实现该接口。
² 连接管理器自动管理连接的分配以及回收工作，并支持连接保持以及重用。连接保持以及重用由RequestDirector进行控制。
1.1.3.2.5. 接口HttpClient
² 接口HttpClient为开发人员直接使用的发送请求和接收响应的接口，是线程安全的。jar包中提供的实现类有：AbstractHttpClient, DefaultHttpClient, AutoRetryHttpClient, ContentEncodingHttpClient, DecompressingHttpClient, SystemDefaultHttpClient。其中其他所有类都继承自抽象类AbStractHttpClient，该类使用了门面模式，对http协议的处理进行了默认的封装,包括默认连接管理器，默认消息头，默认消息发送等，开发人员可以覆盖其中的方法更改其默认设置。
² AbstractHttpClient默认设置连接管理器为BasicClientConnectionManager。若要修改连接管理器，则应该采用以下方式之一：
n 初始化时，传入连接池，例如：
ClientConnectionManager connManager = new PoolingClientConnectionManager();
HttpClient httpclient = new DefaultHttpClient(connManager);
n 编写httpClient接口的实现类，继承自AbstractHttpClient并覆盖其createClientConnectionManager()方法，在方法中创建自己的连接管理器。
1.1.3.3. 方法说明
² createClientConnectionManager()，创建连接池，该方法为protected。子类可覆盖修改默认连接池。
² createClientRequestDirector()，创建请求执行者，该方法为protected。子类可覆盖但一般不需要。
² httpClient中调用1.2方法所创建的请求执行者requestDirector的execute()方法。该方法中依次调用如下方法：
n 1.3.1调用连接管理器的requestConnection(route, userToken)方法，该方法调用连接池httpConnPool的lease方法，创建一个Future<HttpPoolEntry>。Futrue用法参见Java标准API。返回clientConnectionRequest。
n 1.3.2.调用clientConnectionRequest的getConnection(timeout, TimeUnit.MILLISECONDS)方法，该方法负责将连接池中可用连接分配给当前请求，具体如下：
u 创建clientConnectionOperator。
u 执行1.3.1中创建的Future的任务，该任务获得当前可用的poolEntry<router，OperatedClientConnection>并封装成managedClientConnectionImpl返回。
n 1.3.3. 调用 tryConnect(roureq, context)方法，该方法最终调用OperatedClientConnection的openning方法，与服务器建立socket连接。
n 1.3.4. 调用 tryExecute(roureq, context)方法，该方法最终调用OperatedClientConnection的receiveResponseHeader（）和receiveResponseEntity（）获得服务器响应。
n 1.3.5 判断连接是否保持用来重用，若保持，则设置保持时间，并将连接标记为可重用不保持则调用managedClientConnectionImpl的close方法关闭连接，该方法最终调用OperatedClientConnection的close()方法关闭连接。
² 最终respose返回至httpClient。
² 发送请求的线程需处理当前连接，若已被标记为重用，则交还至连接池管理器；否则，关闭当前连接。（使用响应处理器ResponseHanler）。本次请求结束。
1.2. httpClient连接池
若连接管理器配置为PoolingClientConnectionManager，则httpClient将使用连接池来管理连接的分配，回收等操作。
1.2.1. 连接池结构
连接池结构图如下，其中：
l PoolEntry<HttpRoute, OperatedClientConnection>为路由和连接的对应。
l routeToPool可以多个（图中仅示例两个）；图中各队列大小动态变化，并不相等；
l maxTotal限制的是外层httpConnPool中leased集合和available队列的总和的大小，leased和available的大小没有单独限制；
l 同理：maxPerRoute限制的是routeToPool中leased集合和available队列的总和的大小；
1.2.2. 连接池工作原理
1.2.2.1. 分配连接
分配连接给当前请求包括两部分：1. 从连接池获取可用连接PoolEntry；2.将连接与当前请求绑定。其中第一部分从连接池获取可用连接的过程为：
1. 获取route对应连接池routeToPool中可用的连接，有则返回该连接。若没有则转入下一步。
2. 若routeToPool和外层HttpConnPool连接池均还有可用的空间，则新建连接，并将该连接作为可用连接返回；否则进行下一步
3. 将当前请求放入pending队列，等待执行。
4. 上述过程中包含各个队列和集合的删除，添加等操作以及各种判断条件，具体流程如下：
1.2.2.2. 回收连接
连接用完之后连接池需要进行回收，具体流程如下：
1. 若当前连接标记为重用，则将该连接从routeToPool中的leased集合删除，并添加至available队列，同样的将该请求从外层httpConnPool的leased集合删除，并添加至其available队列。同时唤醒该routeToPool的pending队列的第一个PoolEntryFuture。将其从pending队列删除，并将其从外层httpConnPool的pending队列中删除。
2. 若连接没有标记为重用，则分别从routeToPool和外层httpConnPool中删除该连接，并关闭该连接。
1.2.2.3. 过期和空闲连接的关闭
² 连接如果标记为保持时，将由连接管理器保持一段时间，此时连接可能出现的情况是：
n 连接处于空闲状态，时间已超过连接保持时间
n 连接处于空闲状态，时间没有超过连接保持时间
n 以上两种情况中，随时都会出现连接的服务端已关闭的情况，而此时连接的客户端并没有阻塞着去接受服务端的数据，所以客户端不知道连接已关闭，无法关闭自身的socket。
² 连接池提供的方法：
n 首先连接池在每个请求获取连接时，都会在RouteToPool的available队列获取Entry并检测此时Entry是否已关闭或者已过期，若是则关闭并移除该Entry。
n closeExpiredConnections()该方法关闭超过连接保持时间的空闲连接。
n closeIdleConnections(timeout,tunit)该方法关闭空闲时间超过timeout的连接，空闲时间从交还给连接管理器时开始，不管是否已过期超过空闲时间则关闭。所以Idle时间应该设置的尽量长一点。
n 以上两个方法连接关闭的过程均是：
u 关闭entry;
u RouteToPool中删除当前entry。先删available队列中的，如果没有，再删除leased集合中的。
u httpConnPool中删除当前entry。删除过程同RouteToPool
u 唤醒阻塞在RouteToPool中的第一个future。
1.3. 相关原理说明
1.3.1. Tcp连接的关闭
Http连接实际上在传输层建立的是tcp连接，最终利用的是socket进行通信。http连接的保持和关闭实际上都和TCP连接的关闭有关。TCP关闭过程如下图：
说明：
² TCP连接程序中使用socket编程进行实现。一条TCP是一条抽象的连接通道，由通信双方的IP+端口号唯一确定，两端分别通过socket实例进行操作，一个socket实例包括一个输入通道和输出通道，一端的输出通道为另一端的输入通道。
² Tcp连接的关闭是连接的两端分别都需要进行关闭（调用close(socket)，该函数执行发送FIN，等待ACK等图示操作）。实际上没有客户端和服务端的区别，只有主动关闭和被动关闭的区别。对于上层的其http连接，实际上也就是http服务端主动关闭或者http客户端主动关闭，而不管谁主动，最终服务端和客户端都需要调用close(socket)关闭连接。
² 主动关闭的一端A调用了close函数之后，若另一端B并没有阻塞着等待着数据，就无法检测到连接的A端已关闭，就没法关闭自身的socket，造成资源的浪费。http连接都是一次请求和响应，之后便交回给连接管理池，因此在http连接池中应当能够移除已过期或者空闲太久的连接，因为他们可能已经被服务器端关闭或者客户端短期内不再使用。
² TIME_WAIT状态：
n 可靠地实现TCP全双工连接的终止
在进行关闭连接四路握手协议时，最后的ACK是由主动关闭端发出的，如果这个最终的ACK丢失，被动关闭端将重发最终的FIN，因此主动关闭端必须维护状态信息允许它重发最终的ACK。如果不维持这个状态信息，那么主动关闭端将发送RST分节（复位），被动关闭端将此分节解释成一个错误（在java中会抛出connection reset的SocketException)。因而，要实现TCP全双工连接的正常终止，主动关闭的客户端必须维持状态信息进入TIME_WAIT状态。
n 允许老的重复分节在网络中消逝
TCP分节可能由于路由器异常而“迷途”，在迷途期间，TCP发送端可能因确认超时而重发这个分节，迷途的分节在路由器修复后也会被送到最终目的地，这个原来的迷途分节就称为lost duplicate。在关闭一个TCP连接后，马上又重新建立起一个相同的IP地址和端口之间的TCP连接，后一个连接被称为前一个连接的化身（incarnation)，那么有可能出现这种情况，前一个连接的迷途重复分组在前一个连接终止后出现，从而被误解成从属于新的化身。为了避免这个情况，TCP不允许处于TIME_WAIT状态的连接启动一个新的化身，因为TIME_WAIT状态持续2MSL，就可以保证当成功建立一个TCP连接的时候，来自连接先前化身的重复分组已经在网络中消逝。
2. httpClient最佳实践
2.1. 总原则
2.1.1. 版本
原Commons HttpClient：3.x不再升级维护，使用Apache HttpComponents的HttpClient代替。Pom文件修改如下：
1. 原maven依赖：
<dependency>
<groupId>commons-httpclient</groupId>
<artifactId>commons-httpclient</artifactId>
<version>3.1</version>
</dependency>
2. 替换为：
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.2.1</version>
</dependency>
2.1.2. 使用http连接池管理器
² 编写类继承自DefaultHttpClient(以下假设为SopHttpClient)，覆盖其createClientConnectionManager()方法，方法中创建连接池管理器。
² 开启一个线程（假设为IdleConnectionMonitorThread）用来清除连接池中空闲和过期的连接。
2.1.3. 保持HttpClient单例
Spring配置中使用默认scope，即单例模式，其他类使用时由Spring配置进行依赖注入，不要使用new方法。SopHttpClient应该提供方法destroy()并配置在Spring销毁该bean前调用，destory()方法中关闭对应连接池管理器和监控线程IdleConnectionMonitorThread。
2.1.4. 异常处理机制（请求和响应）：
编写类实现接口HttpRequestRetryHandler（可参照默认实现DefaultHttpRequestRetryHandler），并覆盖AbstractHttpClient中的createHttpRequestRetryHandler()方法创建新的重试处理机制。
2.1.5. 参数可配置
各参数（连接池默认ip、端口和大小等，超时时间等）尽量都集中在SopHttpClient类中，设置为由Spring进行统一配置，且提供接口在程序中修改。
2.1.6. 保证连接交回至连接池管理器
2.1.6.1. 方式
HttpResponse response = httpclient.execute(httpMethod);
HttpEntity entity = response.getEntity();
这两段代码返回的entity是HttpEntity的实现类BasicManagedEntity。此时与本次请求关联的连接尚未归还至连接管理器。需要调用以下两条语句：
InputStream instream = entity.getContent();//获得响应具体内容
//处理响应：代码省略
instream.close();//关闭输入流同时会将连接交回至连接处理器
2.1.6.2. 使用默认的响应处理器BasicResponseHandler
² httpClient Jar包中提供BasicResponseHandler。如果返回的类型能确定需要解码为String类型的话，推荐使用该响应处理器。
² 该处理器解码http连接响应字节流为String类型，对返回码>=300的响应进行了异常封装，并能够保证连接交还给连接池管理器。
² 该处理器将字节解码为字符的过程依次如下：
1. 如果响应http报文Head部分由指定的charset，则使用该charset进行解码，否则进行下一步。例如使用UTF-8解码以下响应：
17:59:42.051 [main] DEBUG org.apache.http.headers - << Content-Type: text/html; charset=utf-8
2. 如果响应报文未执行charset，则使用传入EntityUntils.toString()时指定的charset进行解码。否则进行下一步
3. 使用ISO-8859-1进行解码。
2.1.6.3. BasicManagedEntity关闭连接池管理器原理
1. BasicManagedEntity实现了三个接口:HttpEntity，ConnectionReleaseTrigger, EofSensorWatcher。
调用BasicManagedEntity的getContent方法时，实际上初始化了EofSensorInputStream的实例，并将BasicManagedEntity当前对象自身作为EofSensorWatcher传入。
//BasicManagedEntity类的继承体系，HttpEntityWrapper实现了接口HttpEntity
public class BasicManagedEntity extends HttpEntityWrapper
implements ConnectionReleaseTrigger, EofSensorWatcher
// BasicManagedEntity的getContent方法：
@Override
public InputStream getContent() throws IOException {
return new EofSensorInputStream(wrappedEntity.getContent(), this);
}
// EofSensorInputStream构造函数声明
public EofSensorInputStream(final InputStream in,final EofSensorWatcher watcher);
2. 调用EofSensorInputStream的close方法，该方法调用自身的checkClose()方法，checkClose()方法中调入了传入的EofSensorWatcher watcher的streamClosed()方法并关闭输入流，由于上一步骤中实际传入的watcher是BasicManagedEntity的实例，因此实际上调用的是BasicManagedEntity的streamClose()方法。
//close方法
@Override
public void close() throws IOException {
// tolerate multiple calls to close()
selfClosed = true;
checkClose();
}
//checkClose方法
protected void checkClose() throws IOException {
if (wrappedStream != null) {
try {
boolean scws = true; // should close wrapped stream?
if (eofWatcher != null)
scws = eofWatcher.streamClosed(wrappedStream);
if (scws)
wrappedStream.close();
} finally {
wrappedStream = null;
}
}
}
3. BasicManagedEntity的streamClose()方法中将连接交回至连接池管理器。
public boolean streamClosed(InputStream wrapped) throws IOException {
try {
if (attemptReuse && (managedConn != null)) {
boolean valid = managedConn.isOpen();
// this assumes that closing the stream will
// consume the remainder of the response body:
try {
wrapped.close();
managedConn.markReusable();
} catch (SocketException ex) {
if (valid) {
throw ex;
}
}
}
} finally {
releaseManagedConnection();
}
return false;
}
2.1.7. 其他
httpClient 提供了非常灵活的架构，同时提供了很多接口，需要修改时，找到对应接口和默认实现类，参照默认实现类进行修改即可（或继承默认实现类，覆盖其对应方法）。通常需要更改的类有AbstractHttpClient和各种handler以及Strategy
