开源多线程性能测试工具-sysbench

简介:
Sysbench简介

sysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同参数环境下的系统或数据库的负载情况。
本文主要学习使用sysbench来测试linux下mysql数据库的性能负载情况。

sysbench主要支持以下几种测试模式:

  1. CPU运算性能
  2. 磁盘IO性能
  3. 调度程序性能
  4. 内存分配及传输速度
  5. POSIX线程性能
  6. 数据库性能(OLTP基准测试)

目前sysbench主要支持 Mysql,Drizzle,PgSQL,Oracle等几种数据库。

一、 下载sysbench源码包及mysql数据库

1. 目前sysbench代码托管在launchpad上,项目地址: https://github.com/akopytov/sysbench


2. MySQL官方下载地址:http://dev.mysql.com/downloads/mysql/


二、编译安装

1. Mysql数据库安装:

mysql数据库的安装可参考本站的另一篇文章:Mysql二进制包安装与配置实战记录 或直接通过本站右侧的搜索框搜索Mysql会发现很多关于Mysql安装的文章,本文不再讲解。

2. sysbench编译非常简单,可参考 README 文档,简单步骤如下:

tar -zxvf sysbench-0.4.8.tar.gz
cd sysbench-0.4.8
./configure && make && make install
strip /usr/local/bin/sysbench

以上方法适用于MySQL安装在标准默认目录下的情况,如果MySQL并不是安装在标准目录下的话,那么就需要自己指定MySQL的路径了。比如我的MySQL喜欢自己安装在/usr/local/mysql下,则按照以下方法编译:

./configure --with-mysql-includes=/usr/local/mysql/include --with-mysql-libs=/usr/local/mysql/lib && make && make install

当然了,用上面的参数编译的话,就要确保你的MySQL lib目录下有对应的so文件,如果没有,可以自己下载devel或者share包来安装。
另外,如果想要让sysbench支持pgsql/oracle的话,就需要在编译的时候加上参数
--with-pgsql
或者
--with-oracle
这2个参数默认是关闭的,只有MySQL是默认支持的。
三、OLTP测试前准备

初始化测试库环境(总共10个测试表,每个表 100000 条记录,填充随机生成的数据):

cd /tmp/sysbench-0.4.12-1.1/sysbench
mysqladmin create sbtest

./sysbench --mysql-host=127.0.0.1 --mysql-port=3317 --mysql-user=tpcc --mysql-password=tpcc \
--test=tests/db/oltp.lua --oltp_tables_count=10 --oltp-table-size=100000 --rand-init=on prepare

关于这几个参数的解释:

--test=tests/db/oltp.lua 表示调用 tests/db/oltp.lua 脚本进行 oltp 模式测试
--oltp_tables_count=10 表示会生成 10 个测试表
--oltp-table-size=100000 表示每个测试表填充数据量为 100000 
--rand-init=on 表示每个测试表都是用随机数据来填充的

如果在本机,也可以使用 –mysql-socket 指定 socket 文件来连接。加载测试数据时长视数据量而定,若过程比较久需要稍加耐心等待。

真实测试场景中,数据表建议不低于 10个 ,单表数据量不低于 500万行 ,当然了,要视服务器硬件配置而定。如果是配备了SSD或者PCIE SSD这种高IOPS设备的话,则建议单表数据量最少不低于 1亿行 。

四、进行OLTP测试

在上面初始化数据参数的基础上,再增加一些参数,即可开始进行测试了:

./sysbench --mysql-host=127.0.0.1 --mysql-port=3306 \
--mysql-user=tpcc --mysql-password=tpcc \
--test=tests/db/oltp.lua --oltp_tables_count=10 \ 
--oltp-table-size=10000000 --num-threads=8 \ 
--oltp-read-only=off --report-interval=10 \ 
--rand-type=uniform --max-time=3600 \ 
--mysql-table-engine=myisam --max-requests=0 \ 
--percentile=99 run >> ./log/sysbench_oltpX_8_20140921.log

关于这几个参数的解释:

--num-threads=8 表示发起 8个并发连接
--oltp-read-only=off 表示不要进行只读测试,也就是会采用读写混合模式测试
--report-interval=10 表示每10秒输出一次测试进度报告
--rand-type=uniform 表示随机类型为固定模式,其他几个可选随机模式:uniform(固定),gaussian(高斯),special(特定的),pareto(帕累托)
--max-time=120 表示最大执行时长为 120秒
--max-requests=0 表示总请求数为 0,因为上面已经定义了总执行时长,所以总请求数可以设定为 0;也可以只设定总请求数,不设定最大执行时长
--percentile=99 表示设定采样比例,默认是 95%,即丢弃1%的长请求,在剩余的99%里取最大值
--mysql-table-engine=myisam 表示测试的表存储引擎类型为myisam

即:模拟 对10个表并发OLTP测试,每个表1000万行记录,持续压测时间为 1小时。

真实测试场景中,建议持续压测时长不小于 30分钟 ,否则测试数据可能不具参考意义。

这里需要注意的是,官方网站上的参数有一处有误,即 --mysql-table-engine,官方网站上写的是 --mysql-table-type,这个应该是没有及时更新导致的。

另外,--mysql-table-engine参数还可以指定为 innodb 等 MySQL 支持的表存储引擎类型。

五、测试结果解读

测试结果解读如下:

sysbench 0.5:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 8
Report intermediate results every 10 second(s)
Random number generator seed is 0 and will be ignored

Threads started!  --每10秒钟报告一次测试结果,tps、每秒读、每秒写、99%以上的响应时长统计
[10s] threads: 8, tps: 1111.51, reads/s: 15568.42, writes/s: 4446.13, response time: 9.95ms (99%)
[20s] threads: 8, tps: 1121.90, reads/s: 15709.62, writes/s: 4487.80, response time: 9.78ms (99%)
[30s] threads: 8, tps: 1120.00, reads/s: 15679.10, writes/s: 4480.20, response time: 9.84ms (99%)
[40s] threads: 8, tps: 1114.20, reads/s: 15599.39, writes/s: 4456.30, response time: 9.90ms (99%)
[50s] threads: 8, tps: 1114.00, reads/s: 15593.60, writes/s: 4456.70, response time: 9.84ms (99%)
[60s] threads: 8, tps: 1119.30, reads/s: 15671.60, writes/s: 4476.50, response time: 9.99ms (99%)
OLTP test statistics:
  queries performed:
    read:			       938224  --读总数
    write:			       268064  --写总数
    other:			       134032  --其他操作总数(SELECT、INSERT、UPDATE、DELETE
                                                 之外的操作,例如COMMIT等)
    total:			       1340320 --全部总数
  transactions:			       67016  (1116.83 per sec.)  --总事务数(每秒事务数)
  deadlocks:			       0	  (0.00 per sec.) --发生死锁总数
  read/write requests:		       1206288 (20103.01 per sec.)--读写总数(每秒读写次数)
  other operations:		       134032 (2233.67 per sec.)  --其他操作总数(每秒其他操作次数)

General statistics:	                              --一些统计结果
  total time:			       60.0053s       --总耗时
  total number of events:	       67016	      --共发生多少事务数
  total time taken by event execution: 479.8171s      --所有事务耗时相加(不考虑并行因素)
  response time:	                              --响应时长统计
     min:			       4.27ms	      --最小耗时
     avg:			       7.16ms	      --平均耗时
     max:			       13.80ms	      --最长耗时
     approx.  99 percentile:	       9.88ms	      --超过99%平均耗时

Threads fairness:
  events (avg/stddev):		       8377.0000/44.33
  execution time (avg/stddev):         59.9771/0.00



本文转自Linux就该这么学博客园博客,原文链接:http://www.cnblogs.com/linuxprobe/p/5911393.html,如需转载请自行联系原作者
相关文章
|
3月前
|
机器学习/深度学习 人工智能 测试技术
EdgeMark:嵌入式人工智能工具的自动化与基准测试系统——论文阅读
EdgeMark是一个面向嵌入式AI的自动化部署与基准测试系统,支持TensorFlow Lite Micro、Edge Impulse等主流工具,通过模块化架构实现模型生成、优化、转换与部署全流程自动化,并提供跨平台性能对比,助力开发者在资源受限设备上高效选择与部署AI模型。
398 9
EdgeMark:嵌入式人工智能工具的自动化与基准测试系统——论文阅读
|
2月前
|
设计模式 缓存 安全
【JUC】(6)带你了解共享模型之 享元和不可变 模型并初步带你了解并发工具 线程池Pool,文章内还有饥饿问题、设计模式之工作线程的解决于实现
JUC专栏第六篇,本文带你了解两个共享模型:享元和不可变 模型,并初步带你了解并发工具 线程池Pool,文章中还有解决饥饿问题、设计模式之工作线程的实现
192 3
|
3月前
|
Java 测试技术 API
自动化测试工具集成及实践
自动化测试用例的覆盖度及关键点最佳实践、自动化测试工具、集成方法、自动化脚本编写等(兼容多语言(Java、Python、Go、C++、C#等)、多框架(Spring、React、Vue等))
188 6
|
7月前
|
机器学习/深度学习 消息中间件 存储
【高薪程序员必看】万字长文拆解Java并发编程!(9-2):并发工具-线程池
🌟 ​大家好,我是摘星!​ 🌟今天为大家带来的是并发编程中的强力并发工具-线程池,废话不多说让我们直接开始。
284 0
|
4月前
|
前端开发 Java jenkins
Jmeter压力测试工具全面教程和使用技巧。
JMeter是一个能够模拟高并发请求以检查应用程序各方面性能的工具,包括但不限于前端页面、后端服务及数据库系统。熟练使用JMeter不仅能够帮助发现性能瓶颈,还能在软件开发早期就预测系统在面对真实用户压力时的表现,确保软件质量和用户体验。在上述介绍的基础上,建议读者结合官方文档和社区最佳实践,持续深入学习和应用。
971 10
|
4月前
|
监控 Java 数据挖掘
利用Jmeter工具进行HTTP接口的性能测试操作
基础上述步骤反复迭代调整直至满足预期目标达成满意水平结束本轮压力评估周期进入常态监控阶段持续关注系统运转状态及时发现处理新出现问题保障服务稳定高效运作
633 0
|
5月前
|
敏捷开发 运维 数据可视化
DevOps看板工具中的协作功能:如何打破开发、测试与运维之间的沟通壁垒
在DevOps实践中,看板工具通过可视化任务管理和自动化流程,提升开发与运维团队的协作效率。它支持敏捷开发、持续交付,助力团队高效应对需求变化,实现跨职能协作与流程优化。
|
6月前
|
Java 测试技术 容器
Jmeter工具使用:HTTP接口性能测试实战
希望这篇文章能够帮助你初步理解如何使用JMeter进行HTTP接口性能测试,有兴趣的话,你可以研究更多关于JMeter的内容。记住,只有理解并掌握了这些工具,你才能充分利用它们发挥其应有的价值。+
1052 23
|
6月前
|
数据可视化 测试技术 Go
Go 语言测试与调试:`go test` 工具用法
`go test` 是 Go 语言内置的测试工具,支持单元测试、基准测试、示例测试等功能。本文详解其常用参数、调试技巧及性能测试命令,并提供实际项目中的应用示例与最佳实践。
|
Java 测试技术 数据安全/隐私保护
软件测试中的自动化策略与工具应用
在软件开发的快速迭代中,自动化测试以其高效、稳定的特点成为了质量保证的重要手段。本文将深入探讨自动化测试的核心概念、常见工具的应用,以及如何设计有效的自动化测试策略,旨在为读者提供一套完整的自动化测试解决方案,帮助团队提升测试效率和软件质量。