实现数据库连接池

简介: 实现数据库连接池

1.引言

最近深感C++项目实践经验太少,所以想找个项目练练手,看到MySQL数据库连接池的项目时间比较短,代码行也还行,还能学到锁机制,多线程等,把之前听到的知识都实践一遍,何乐而不为呢!

这个项目是自己下班时候敲的代码,大约为400行,本来想着每次提交下代码就写一篇文章,后来想着算了,直接全干完再写,没想到拖了这么久

2.何为数据库连接池

首先一点点来,最初应用程序访问数据库时,都需要建立一个新的数据库连接,建立连接这个过程包括:与数据库服务器建立网络连接、进行身份验证等步骤,这些操作都是非常耗时的。当应用程序使用完这个连接后,它会关闭这个连接,释放相关资源

这种方式的问题在于,如果应用程序需要频繁地访问数据库,那么它就需要不断地建立和关闭数据库连接。这会占用大量的系统资源和时间,降低应用程序的性能

扩展点说,最初应用程序访问数据库的基本流程是需要执行以下步骤的

1.应用程序向数据库服务器发起连接请求。(TCP三次握手)

2.数据库服务器接收到连接请求后,进行身份验证,确认应用程序具有访问数据库的权限。

3.如果身份验证通过,数据库服务器会与应用程序建立一个新的连接。

4.应用程序通过这个连接向数据库发送查询请求,并获取查询结果。

5.当应用程序使用完这个连接后,它会关闭这个连接,释放相关资源。(TCP四次挥手)

比如双11这个时候,有上千万的都来访问,那为一个个请求都建立连接,耗时量是无法想象的

所以这时候连接池出现了

简单讲,就是比如我现在有1万个请求,但是我提前在内存区建立了2万个连接对象,你来了直接拿走用就行,不用再一个个创建了

可以把数据库连接池想象成一个游泳池,里面有很多人在游泳。每个人都代表一个数据库连接。当有新的人想要游泳时,他们可以直接进入游泳池,而不需要重新填充水。当他们游完后,他们可以离开游泳池,但是水仍然留在游泳池中,供下一个人使用。而之前的设计就像是,每个人来了,我都现在给游泳池注水,他游完了,我再把水放了,再进来一个人,我继续注水,这样想是不是发现之前的方式好傻

同样的,数据库连接池在程序初始化时创建一定数量的数据库连接对象并将其保存在一块内存区中。当应用程序需要访问数据库时,它可以直接从连接池中获取一个现有的连接,而不需要重新建立一个新的连接。当应用程序使用完这个连接后,它可以将连接返回给连接池,而不是关闭它。这样,下一个需要访问数据库的应用程序就可以重复使用这个现有的连接

3.连接池是怎么设计的

既然我们已经知道了什么是连接池,那连接池应该怎么设计呢,只是简单的提前创建好连接吗

数据库连接池的设计通常包括以下几个方面:

  1. 连接池的大小:连接池需要维护一定数量的数据库连接对象。这个数量可以根据应用程序的需求进行配置,以保证应用程序能够快速地获取到可用的数据库连接。
  2. 连接的获取和释放:连接池需要提供获取和释放连接的接口。当应用程序需要访问数据库时,它可以调用获取连接的接口从连接池中获取一个可用的连接。当应用程序使用完这个连接后,它可以调用释放连接的接口将连接返回给连接池。
  3. 连接的管理:连接池需要对维护的连接进行管理,包括检查连接的有效性、释放空闲时间过长的连接等。这些操作可以通过后台线程定期执行,以保证连接池中的连接都是可用的。
  4. 连接池的配置:连接池通常可以通过配置文件进行配置,包括连接池的大小、数据库服务器的地址、用户名和密码等信息。这些配置信息可以在应用程序启动时读取,并用于初始化连接池。

4.连接池主要参数

连接池一般包含了数据库连接所用的ip地址、port端口号、用户名和密码以及其它的性能参数,例如初始连接量,最大连接量,最大空闲时间、连接超时时间等,该项目是基于C++语言实现的连接池,主要也是实现以上几个所有连接池都支持的通用基础功能。

初始连接量(initSize):表示连接池事先会和MySQL Server创建initSize个数的connection连接,当应用发起MySQL访问时,不用再创建和MySQL Server新的连接,直接从连接池中获取一个可用的连接就可以,使用完成后,并不去释放connection,而是把当前connection再归还到连接池当中。

最大连接量(maxSize):当并发访问MySQL Server的请求增多时,初始连接量已经不够使用了,此时会根据新的请求数量去创建更多的连接给应用去使用,但是新创建的连接数量上限是maxSize,不能无限制的创建连接,因为每一个连接都会占用一个socket资源,一般连接池和服务器程序是部署在一台主机上的,如果连接池占用过多的socket资源,那么服务器就不能接收太多的客户端请求了。当这些连接使用完成后,再次归还到连接池当中来维护。

最大空闲时间(maxIdleTime):当访问MySQL的并发请求多了以后,连接池里面的连接数量会动态增加,上限是maxSize个,当这些连接用完再次归还到连接池当中。如果在指定的maxIdleTime里面,这些新增加的连接都没有被再次使用过,那么新增加的这些连接资源就要被回收掉,只需要保持初始连接量initSize个连接就可以了。

连接超时时间(connectionTimeout):当MySQL的并发请求量过大,连接池中的连接数量已经到达maxSize了,而此时没有空闲的连接可供使用,那么此时应用从连接池获取连接无法成功,它通过阻塞的方式获取连接的时间如果超过connectionTimeout时间,那么获取连接失败,无法访问数据库。该项目主要实现上述的连接池四大功能,其余连接池更多的扩展功能,可以自行实现。

5.具体实现思路

首先明确写一个文件,注意我写的的github项目里面的ConnectionPool为TestConnectionPool

ConnectionPool.cpp和ConnectionPool.h:连接池代码实现 Connection.cpp和Connection.h:数据库操作代码、增删改查代码实现

1.连接池只需要一个实例,所以ConnectionPool以单例模式进行设计

2.从ConnectionPool中可以获取和MySQL的连接Connection

3.空闲连接Connection全部维护在一个线程安全的Connection队列中,使用线程互斥锁保证队列的线 程安全

4.如果Connection队列为空,还需要再获取连接,此时需要动态创建连接,上限数量是maxSize

5.队列中空闲连接时间超过maxIdleTime的就要被释放掉,只保留初始的initSize个连接就可以了,这个 功能点肯定需要放在独立的线程中去做

6.如果Connection队列为空,而此时连接的数量已达上限maxSize,那么等待connectionTimeout时间 如果还获取不到空闲的连接,那么获取连接失败,此处从Connection队列获取空闲连接,可以使用带 超时时间的mutex互斥锁来实现连接超时时间

7.用户获取的连接用shared_ptr智能指针来管理,用lambda表达式定制连接释放的功能(不真正释放 连接,而是把连接归还到连接池中)

8.连接的生产和连接的消费采用生产者-消费者线程模型来设计,使用了线程间的同步通信机制条件变量 和互斥锁


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
程序员 编译器 C语言
最新Dev-C++下载安装以及C语言环境搭建教程(含C语言入门教程)
最新Dev-C++下载安装以及C语言环境搭建教程(含C语言入门教程)
2084 0
|
关系型数据库 数据库 PostgreSQL
|
8月前
|
安全 Linux API
Burp Suite Professional 2025.4 发布 - Web 应用安全、测试和扫描
Burp Suite Professional 2025.4 (macOS, Linux, Windows) - Web 应用安全、测试和扫描
410 6
Burp Suite Professional 2025.4 发布 - Web 应用安全、测试和扫描
|
人工智能
歌词结构的巧妙安排:写歌词的方法与技巧解析,妙笔生词AI智能写歌词软件
歌词创作是一门艺术,关键在于巧妙的结构安排。开头需迅速吸引听众,主体部分要坚实且富有逻辑,结尾则应留下深刻印象。《妙笔生词智能写歌词软件》提供多种 AI 功能,帮助创作者找到灵感,优化歌词结构,写出打动人心的作品。
|
10月前
|
机器学习/深度学习 算法 安全
用PyTorch从零构建 DeepSeek R1:模型架构和分步训练详解
本文详细介绍了DeepSeek R1模型的构建过程,涵盖从基础模型选型到多阶段训练流程,再到关键技术如强化学习、拒绝采样和知识蒸馏的应用。
1233 3
用PyTorch从零构建 DeepSeek R1:模型架构和分步训练详解
数据一致性-对账
一致性分为强一致性和弱一致性。 强一致性的协议和手段主要有:二阶段提交(2PC)、三阶段提交(3PC)、TCC(Try-Confirm-Cancel)补偿型。这里面经常有人把两阶段提交和TCC补偿型混淆。二阶段提交实际上业务逻辑是在提交之前做的,两阶段只是事务控制的两个阶段。而TCC是将业务逻辑分为try、confirm和cancel三个阶段。举个例子:比如一个人要预售苹果,有两种销售策略。一种让用户先付钱,根据用户需求量准备足够的苹果。另一种是让用户先付钱同时声明到时候先到先得,没抢到的就退款。第一种就是二阶段提交,第二种就是TCC。弱一致性在分布式系统中常用的是一种特例:最终一致性。
1156 0
数据一致性-对账
|
搜索推荐 数据可视化 前端开发
ECharts 词云图案例【用户画像】:创意蒙版应用
使用ECharts创建词云图,结合蒙版技术提升可视化创意。通过设置`maskImage`属性,将自定义图像作为词云的外形,如用户画像。案例中详细介绍了HTML结构、ECharts配置及蒙版图像加载过程,鼓励探索SVG路径和CSS样式以实现更多个性化效果。代码和依赖可下载,激发更多数据可视化灵感。
1099 0
 ECharts 词云图案例【用户画像】:创意蒙版应用
|
存储 SQL 缓存
PostgreSQL DirectIO开发实践
在数据库开源的背景下,基于PG的DirectIO的研发方案分享。
PostgreSQL DirectIO开发实践
|
运维 Linux 网络安全
类似宝塔的开源工具
【5月更文挑战第19天】类似宝塔的开源工具
1791 4
|
定位技术 开发者
高德地图开发 —— 获取高德地图开发的 key
高德地图开发 —— 获取高德地图开发的 key
1085 0