性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

本文涉及的产品
性能测试 PTS,5000VUM额度
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 【5月更文挑战第23天】性能工具之JMeter+InfluxDB+Grafana打造压测可视化实时监控

一、概述

本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。

二、引言

我们很多时候在使用JMeter做性能测试,我们很难及时察看压测过程中应用的性能状况,总是需要等到测试完成后去看Report,如果是长时间压测,比如压测1~2天,那就更烦人了。

压测的时候,我们实时通过监听器 GenerateSummaryResults汇总输出,可以看到如下内容

image.png

GenerateSummaryResults汇总展示了压测中需要关注的大量信息,其中包括:Avg (Average), Min (Minimum) 、Max (Maximum)响应时间,TPS,错误率,活跃线程数等, jmeter.properties默认是30秒的统计频率,如果我们想使用小于30秒更细颗粒度的统计频率的时候,那么在控制台会有大量的输出,这个时候我们就不好观察结果了。

# jmeter.properties 
# Define the following property to automatically start a summariser with that name
# (applies to non-GUI mode only)
# summariser.name=summary
#
# interval between summaries (in seconds) default 3 minutes
# summariser.interval=30
#
# Write messages to log file
# summariser.log=true
#
# Write messages to System.out
# summariser.out=true

另一方面,如果需要分享给其它人员,这种控制台输出方式并不是一个很友好的方式,我们需要一个简单漂亮的图形,比如HTML Dashboard,但需要等待整个测试完成。
image.png

因此,我们可以在测试计划中去除GenerateSummaryResults,把测试结果发送到数据库中持久化,这样我们就可以通过SQL查询数据库来创建展示图表。

从JMeter2.13开始,通过提供实现AbstractBackendListenerClient的类,可以使用(JDBC,JMS,Webservice,...)通过Backend Listener发送到数据库的存储实时结果。

BackendListenerGraphiteBackendListenerClient,允许将统计指标发送到Graphite
此功能提供:

  • 实时数据
  • 漂亮图表
  • 能够对比2个以上的测试计划
  • 只要JMeter产生相同的Backend,就可以存储监控数据
    ...

JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDB

此功能提供:

  • 实时数据
  • 漂亮图表
  • 能够对比2个以上的测试计划
  • 能够向图表添加注释
  • 只要JMeter产生相同的Backend,就可以存储监控数据
    ...

    二、 解决方案

    JMeter引入Backend Listener,用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb,我们就可以创建炫酷的可视化看板,并可以实时获取到测试指标数据。
    image.png

相关介绍:

时序数据库:处理带时间标签(按照时间的顺序变化,即时间序列化)的数据,带时间标签的数据也称为时间序列数据。想象它就像一个sql表,其中时间是它的主键
InfluxDB:是一款用Go语言编写的开源分布式时序、事件和指标数据库,无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据,如DevOps监控数据,APP metrics, loT传感器数据和实时分析数据。

官网地址:https://www.influxdata.com/
数据DEMO

> select* from weather
name: weather
-------------
time                    altitude        area    humidity        temperature
1456386985094000000     100018              17
1456386985094000000     500020              47
1456386985094000000     500026              68
1456386985094000000     1000            广      17              83
1456387267668000000     100012              77
1456387267668000000     100016              20
1456387267668000000     5000            广      -3              66
1456387267668000000     500019              60

与传统数据库中的名词做比较

influxDB中的名词 传统数据库中的概念
database 数据库
measurement 数据库中的表

points | 表里面的一行数据|

InfluxDB中独有的一些概念
Point由时间戳(time)、数据(field)、标签(tags)组成。

Point属性 传统数据库中的概念
time 每个数据记录时间,是数据库中的主索引(会自动生成)
fields 各种记录值(没有索引的属性)也就是记录的值:温度, 湿度
tags 各种有索引的属性:地区,海拔

三、JMeter&InfluxDB集成

1、InfluxDB安装

1.1、安装要求

网络端口
InfluxDB默认使用以下网络端口:

  • TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信
  • TCP端口8088用于RPC服务以进行备份和还原
  • 除了上面的端口,InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射,配置文件位于/etc/influxdb/influxdb.conf默认位置。

网络时间协议(NTP)
InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议(NTP)同步主机之间的时间; 如果主机的时钟与NTP不同步,写入InfluxDB的数据的时间戳可能不准确。

2、下载安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
sudo yum localinstall influxdb-1.6.2.x86_64.rpm

3、InfluxDB配置

找到InfluxDB配置文件(/etc/influxdb/influxdb.conf

vi /etc/influxdb/influxdb.conf

influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。
请注意,本地配置文件不需要包含每个配置设置。
如果你无法找到配置文件,可以使用InfluxDB显示配置命令

Influxd config

Jmeter使用graphite协议去写入数据到InfluxDB,因此,需要在InfluxDB配置文件启用它,如下图所示:

[[graphite]]
 enabled = true
 bind-address = ":2003"
 database = "jmeter"
 retention-policy = ""
 protocol = "tcp"
 batch-size = 5000
 batch-pending = 10
 batch-timeout = "1s"
 consistency-level = "one"
 separator = "."
 udp-read-buffer = 0

修改后,使用以下命令加载InfluxDB启动

有两种方法可以使用配置文件启动InfluxDB:
1.使用以下-config选项将进程指向正确的配置文件

 influxd -config /etc/influxdb/influxdb.conf

2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动

  echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd

InfluxDB操作

 [root@zuozewei ~]# influx  #登录数据库
Connected to http://localhost:8086 version 1.6.2
InfluxDB shell version: 1.6.2
> show databases  #查看所有数据库
name: databases
name
----
_internal
> CREATE DATABASE "jmeter" #创建数据库
> use jmeter               #切换数据库
Using database jmeter
> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户

4、JMeter配置

  1. 创建一个测试计划,并添加Backend Listener
  2. 设置InfluxDB IP及端口设置InfluxDB IP及端口
  3. 运行测试,等待几秒运行测试,等待几秒
  4. 查看JMeter是否生成错误日志查看JMeter是否生成错误日志

image.png

端口说明:

  • 8086端口,Grafana用来从数据库取数据的端口
  • 2003端口,JMeter往数据库发数据的端口

查看JMeter数据库下所有的表

> show measurements
name: measurements
name
----
delta
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.count
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT
total

OK,我们已经可以将统计指标数据成功发送到InfluxDB

四、Grafana&InfluxDB集成

什么是Grafana?

Grafana是一个开源软件,拥有丰富的指标仪表盘和图形编辑器,适用Graphite, Elasticsearch, OpenTSDB, Prometheus,InfluxDB。简单点说就是一套开源WEB可视化平台。

官网地址:https://grafana.com/

1、安装启动

下载安装

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm 
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm

启动

service grafana-server start
Starting grafana-server (via systemctl):                   [  OK  ]

使用浏览器打开 http://IP:3000/login,访问Grafana主页
image.png

创建InfluxDB数据源
image.png

单击save&test,确保可以连接上InfluxDB
image.png

创建dashboard

image.png

添加Graph面板
image.png

数据绑定
image.png

image.png
image.png

线程数/用户相关指标
test.minAT-Min active threads:最小活跃线程数
test.maxAT-Max active threads:最大活跃线程数
test.meanAT-Mean active threads:活跃线程数
test.startedT-Started threads:启动线程数
test.endedT-Finished threads:结束线程数

响应时间指标
.ok.count:采样器的成功响应数
.h.count:每秒点击数
.ok.min:采样器成功最短响应时间
.ok.max:采样器成功最长响应时间
.ok.avg:采样器成功平均响应时间
.ok.pct:采样器成功响应百分比
.ko.count:采样器失败响应数
.ko.min:采样器失败的响应最短时间
.ko.max:采样称失败最长响应时间
.ko.avg:采样器失败平均响应时间
.ko.pct:采样器失败响应百分比
.a.count:采样器响应数(ok.count和ko.count的总和)
.a.min:采样器最小响应时间(ok.count和ko.count的最小值)
.a.max:采样器最大响应时间(ok.count和ko.count的最大值)
.a.avg:采样器平均响应时间(ok.count和ko.count的平均值)
.a.pct:采样器响应百分比(根据和失败样本的总数计算)

Backend Listener的默认百分位设置为“90;95;99”,即百分位数为90%,95%和99%。
Graphite使用点(“.”)去拆分的元素,这可能与十进制百分位值混淆。JMeter转换任何此类值,用下划线(“ - ”)替换点(“.”)。例如,“99.9 ”变为“99_9 ”
默认情况下,JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList,那么JMeter还会发送匹配样本名称的指标,前提是配置 summaryOnly=true

压测中的效果
image.png

五、导入Dashboard模版

如果让大家去设计一个好看的Dashboard,估计大家都不太想从零开始自己设计,其实Grafana官网提供丰富的模版的库,大家可以自己上去找,然后进行二次扩展。

官网模版库:https://grafana.com/dashboards

搜索看板模版
image.png

此处,我选择下载这个下载量3000+的模版
image.png

下模版JSON文件
image.png

导入模版
image.png

image.png

选择数据源
image.png

JMeter Backend Listener设置
image.png

压测期间的效果
image.png

至此,我初步打造的压测可视化实时监控大功告成~?

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
3月前
|
缓存 Java 测试技术
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
使用JMeter对项目各个接口进行压力测试,并对前端进行动静分离优化,优化三级分类查询接口的性能
110 10
谷粒商城笔记+踩坑(11)——性能压测和调优,JMeter压力测试+jvisualvm监控性能+资源动静分离+修改堆内存
|
4月前
|
存储 Linux 数据库
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
【8月更文挑战第7天】性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
78 1
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
|
4月前
|
数据采集 缓存 监控
优化 Grafana 性能:技巧与窍门
【8月更文第29天】Grafana 是一个非常受欢迎的开源数据可视化平台,它能够连接到各种数据源并提供高度定制化的仪表板。然而,随着数据量的增长和复杂查询的增多,Grafana 的性能可能会受到影响。本文将探讨如何优化 Grafana 的性能,以提高其响应速度和稳定性,并通过具体的代码示例来展示这些技巧。
502 1
|
4月前
|
存储 监控 数据可视化
性能监控之JMeter分布式压测轻量日志解决方案
【8月更文挑战第11天】性能监控之JMeter分布式压测轻量日志解决方案
101 0
性能监控之JMeter分布式压测轻量日志解决方案
|
5月前
|
测试技术 Linux
linux 服务器运行jmeter 进行服务性能压测
linux 服务器运行jmeter 进行服务性能压测
431 0
|
6月前
|
JSON Java 测试技术
必知的技术知识:Jmeter压测工具使用手册(完整版)
必知的技术知识:Jmeter压测工具使用手册(完整版)
|
6月前
|
测试技术 Linux Apache
掌握JMeter参数化技巧:通过CSV文件实现高效登录压测
在本文中,我们将探讨如何使用 Apache JMeter 通过 CSV 数据文件进行登录性能测试参数化。首先创建一个包含用户名和密码的 `users.csv` 文件。接着在 JMeter 中,创建测试计划,添加线程组,配置 CSV 数据集,设置文件路径、编码及变量名。然后,创建 HTTP 请求并添加参数,使用 `${username}` 和 `${password}` 引用 CSV 中的数据。最后,添加监听器如查看结果树和聚合报告以分析测试结果。通过这种方法,能更有效地模拟真实用户行为,提高测试覆盖率,助力性能瓶颈的发现和优化。
|
1月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
186 3
|
1月前
|
Prometheus 监控 Cloud Native
基于Docker安装Grafana和Prometheus
Grafana 是一款用 Go 语言开发的开源数据可视化工具,支持数据监控和统计,并具备告警功能。通过 Docker 部署 Grafana 和 Prometheus,可实现系统数据的采集、展示和告警。默认登录用户名和密码均为 admin。配置 Prometheus 数据源后,可导入主机监控模板(ID 8919)进行数据展示。
90 2
|
1月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第27天】在智能运维中,Prometheus和Grafana的组合已成为监控和告警体系的事实标准。Prometheus负责数据收集和存储,支持灵活的查询语言PromQL;Grafana提供数据的可视化展示和告警功能。本文介绍如何配置Prometheus监控目标、Grafana数据源及告警规则,帮助运维团队实时监控系统状态,确保稳定性和可靠性。
156 0