简介
对象池顾名思义就是存放对象的池,与我们常听到的线程池、数据库连接池、http连接池等一样,都是典型的池化设计思想。
对象池的优点就是可以集中管理池中对象,减少频繁创建和销毁长期使用的对象,从而提升复用性,以节约资源的消耗,可以有效避免频繁为对象分配内存和释放堆中内存,进而减轻jvm垃圾收集器的负担,避免内存抖动。
Apache Common Pool2 是Apache提供的一个通用对象池技术实现,可以方便定制化自己需要的对象池,大名鼎鼎的 Redis 客户端 Jedis 内部连接池就是基于它来实现的。
核心接口
Apache Common Pool2 的核心内部类如下:
- ObjectPool:对象池接口,对象池实体,取用对象的地方
- 对象的提供与归还(工厂来操作):
borrowObject
returnObject
- 创建对象(使用工厂来创建):
addObject
- 销毁对象(使用工厂来销毁):
invalidateObject
- 池中空闲对象数量、被使用对象数量:
getNumActive
getNumIdle
- PooledObject:被包装的对象,是池中的对象,除了对象本身之外包含了创建时间、上次被调用时间等众多信息
- PooledObjectFactory:对象工厂,管理对象的生命周期,提供了对象创建、销毁、验证、钝化、激活等一系列功能
- BaseObjectPoolConfig:提供一些必要的配置,例如空闲队列是否先进先出、工厂创建对象前是否需要测试、对象从对象池取出时是否测试等基础属性,
GenericObjectPoolConfig
继承了本类做了默认配置,我们在实际使用中继承它即可,可以结合业务情况扩展对象池配置,例如数据库连接池线程前缀、字符串池长度或名称规则等
- KeyedObjectPool<K,V>:键值对形式的对象池接口,使用场景很少
- KeyedPooledObjectFactory<K,V>:同上,为键值对对象池管理对象的工厂
池对象的状态
查看源码PooledObjectState
枚举下列出了池对象所有可能处于的状态。
public enum PooledObjectState { //在空闲队列中,还未被使用 IDLE, //使用中 ALLOCATED, //在空闲队列中,当前正在测试是否满足被驱逐的条件 EVICTION, //不在空闲队列中,目前正在测试是否可能被驱逐。因为在测试过程中,试图借用对象,并将其从队列中删除。 //回收测试完成后,它应该被返回到队列的头部。 EVICTION_RETURN_TO_HEAD, //在队列中,正在被校验 VALIDATION, //不在队列中,当前正在验证。该对象在验证时被借用,由于配置了testOnBorrow, //所以将其从队列中删除并预先分配。一旦验证完成,就应该分配它。 VALIDATION_PREALLOCATED, //不在队列中,当前正在验证。在之前测试是否将该对象从队列中移除时,曾尝试借用该对象。 //一旦验证完成,它应该被返回到队列的头部。 VALIDATION_RETURN_TO_HEAD, //无效状态(如驱逐测试或验证),并将/已被销毁 INVALID, //判定为无效,将会被设置为废弃 ABANDONED, //正在使用完毕,返回池中 RETURNING }
状态理解
- abandoned :被借出后,长时间未被使用则被标记为该状态。如代码所示,当该对象处于
ALLOCATED
状态,即被借出使用中,距离上次被使用的时间超过了设置的getRemoveAbandonedTimeout
则被标记为废弃。
private void removeAbandoned(final AbandonedConfig abandonedConfig) { // Generate a list of abandoned objects to remove final long now = System.currentTimeMillis(); final long timeout = now - (abandonedConfig.getRemoveAbandonedTimeout() * 1000L); final ArrayList<PooledObject<T>> remove = new ArrayList<>(); final Iterator<PooledObject<T>> it = allObjects.values().iterator(); while (it.hasNext()) { final PooledObject<T> pooledObject = it.next(); synchronized (pooledObject) { if (pooledObject.getState() == PooledObjectState.ALLOCATED && pooledObject.getLastUsedTime() <= timeout) { pooledObject.markAbandoned(); remove.add(pooledObject); } } }
流程理解
1.对象真实是存储在哪里?
private PooledObject<T> create() throws Exception { ..... final PooledObject<T> p; try { p = factory.makeObject(); ..... allObjects.put(new IdentityWrapper<>(p.getObject()), p); return p; }
我们查看allObjects,所有对象都存储于ConcurrentHashMap,除了被杀掉的对象。
/* * All of the objects currently associated with this pool in any state. It * excludes objects that have been destroyed. The size of * {@link #allObjects} will always be less than or equal to {@link * #_maxActive}. Map keys are pooled objects, values are the PooledObject * wrappers used internally by the pool. */ private final Map<IdentityWrapper<T>, PooledObject<T>> allObjects = new ConcurrentHashMap<>();
2.取用对象的逻辑归纳如下
- 首先根据
AbandonedConfig
配置判断是否取用对象前执行清理操作 - 再从
idleObject
中尝试获取对象,获取不到就创建新的对象
- 判断
blockWhenExhausted
是否设置为true
,(这个配置的意思是当对象池的active
状态的对象数量已经达到最大值maxinum
时是否进行阻塞直到有空闲对象) - 是的话按照设置的
borrowMaxWaitMillis
属性等待可用对象
- 有可用对象后调用工厂的
factory.activateObject
方法激活对象 - 当
getTestOnBorrow
设置为true
时,调用factory.validateObject(p)
对对象进行校验,通过校验后执行下一步 - 调用
updateStatsBorrow
方法,在对象被成功借出后更新一些统计项,例如返回对象池的对象个数等
//.... private final LinkedBlockingDeque<PooledObject<T>> idleObjects; //.... public T borrowObject(final long borrowMaxWaitMillis) throws Exception { assertOpen(); final AbandonedConfig ac = this.abandonedConfig; if (ac != null && ac.getRemoveAbandonedOnBorrow() && (getNumIdle() < 2) && (getNumActive() > getMaxTotal() - 3) ) { removeAbandoned(ac); } PooledObject<T> p = null; // Get local copy of current config so it is consistent for entire // method execution final boolean blockWhenExhausted = getBlockWhenExhausted(); boolean create; final long waitTime = System.currentTimeMillis(); while (p == null) { create = false; p = idleObjects.pollFirst(); if (p == null) { p = create(); if (p != null) { create = true; } } if (blockWhenExhausted) { if (p == null) { if (borrowMaxWaitMillis < 0) { p = idleObjects.takeFirst(); } else { p = idleObjects.pollFirst(borrowMaxWaitMillis, TimeUnit.MILLISECONDS); } } if (p == null) { throw new NoSuchElementException( "Timeout waiting for idle object"); } } else { if (p == null) { throw new NoSuchElementException("Pool exhausted"); } } if (!p.allocate()) { p = null; } if (p != null) { try { factory.activateObject(p); } catch (final Exception e) { try { destroy(p, DestroyMode.NORMAL); } catch (final Exception e1) { // Ignore - activation failure is more important } p = null; if (create) { final NoSuchElementException nsee = new NoSuchElementException( "Unable to activate object"); nsee.initCause(e); throw nsee; } } if (p != null && getTestOnBorrow()) { boolean validate = false; Throwable validationThrowable = null; try { validate = factory.validateObject(p); } catch (final Throwable t) { PoolUtils.checkRethrow(t); validationThrowable = t; } if (!validate) { try { destroy(p, DestroyMode.NORMAL); destroyedByBorrowValidationCount.incrementAndGet(); } catch (final Exception e) { // Ignore - validation failure is more important } p = null; if (create) { final NoSuchElementException nsee = new NoSuchElementException( "Unable to validate object"); nsee.initCause(validationThrowable); throw nsee; } } } } } updateStatsBorrow(p, System.currentTimeMillis() - waitTime); return p.getObject(); }
3.工厂的passivateObject(PooledObject<T> p)
和passivateObject(PooledObject<T> p)
即对象的激活和钝化方法有什么用?
如以下源码所示,在对象使用完被返回对象池时,如果校验失败直接销毁,如果校验通过需要先钝化对象再存入空闲队列。至于激活对象的方法在上述取用对象时也会先激活再被取出。
因此我们可以发现处于空闲和使用中的对象他们除了状态不一致,我们也可以通过激活和钝化的方式在他们之间增加新的差异,例如我们要做一个Elasticsearch连接池,每个对象就是一个带有ip和端口的连接实例,很显然访问es集群是多个不同的ip,所以每次访问的ip不一定相同,我们则可以在激活操作为对象赋值ip和端口,钝化操作中将ip和端口归为默认值或者空,这样流程更为标准。
public void returnObject(final T obj) { final PooledObject<T> p = allObjects.get(new IdentityWrapper<>(obj)); //.... //校验失败直接销毁 return //... try { factory.passivateObject(p); } catch (final Exception e1) { swallowException(e1); try { destroy(p, DestroyMode.NORMAL); } catch (final Exception e) { swallowException(e); } try { ensureIdle(1, false); } catch (final Exception e) { swallowException(e); } updateStatsReturn(activeTime); return; } //...... //返回空闲队列 }