南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具

本文涉及的产品
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 南大通用GBase 8a MPP Cluster Linux端SQL进程监控工具

设计背景

在linux端,GBase 8a由于缺少对sql进程的有效监控和跟踪,致使维护工作不便。本工具的设计宗旨即解决该类维护问题。

设计目的

(1) 实时监控集群所有节点上sql任务并发执行情况

(2) 监控信息可压缩存档,便于追溯

(3) 监控范围可调节

(4) 监控信息含有分类统计功能

(5) 监控信息按照详细和简单分类,简单用于排查问题,详细用于追溯

工具说明

(1)该脚本用于记录和实时监控数据库中正在执行的sql,包括sql的执行时间,执行状态,sql下发源头等信息。

(2)使用前赋予可执行权限。如: chmod +x always.sh    chmod +x gcluster_process.sh

(3)该脚本只部署在集群主节点上(集群层)即可。

(4)用gbase用户新建目录 /opt/gbasetools/always

(5)将gcluster_process.sh,always.sh脚本和node_ip.list文件放在该目录下,在gcluster_process.sh脚本中修改登陆集群的用户和口令。

  在node_ip.list中存放coor节点ip; 将always.sh 挂在后台执行即可: sh always.sh &

(6)脚本正常会生成 always_result.txt和always_result.txt.full两个文件。full中存放着完整的sql,便于追溯,不带full的日志尾部有sql截断

  便于运维监控时使用。日常运维时直接tail -f always_result.txt即可,可作为日常运维集群的监控页面使用。

(7)显示结果中区分加载、非加载、普通sql的分类统计

(8)文件大小超过50万行或500MB会自动打包归档,并形成新的文件

工具详情

always.sh内容如下

#!/bin/bash
while [ 1 ]
do
echo "  `date +%F.%T`########################################################################################################" >> always_result.txt
sh gcluster_process.sh | grep -v Sleep | grep -v "show full processlist"  > tmp.gcluster_p.log
# catch full processlist log
echo " `date +%F.%T`########################################################################################################"  >> always_result.txt.full
cat tmp.gcluster_p.log | grep -viE 'Info$|event_scheduler.*Waiting for next activation' |sort -k 8,8nr >> always_result.txt.full
cat tmp.gcluster_p.log| grep -v Info |sed s/"checking permissions"/" "/g | awk '{print $1,$2,$3,$8,$9,$10,$11,$12,substr($13,1,500),substr($14,1,500),$15,$16,$17,$18}' |sort -k 5,5nr >> always_result.txt
echo non-load process number: `grep -v 'processlist' tmp.gcluster_p.log |grep -viE 'LOAD DATA INFILE' | grep -v Host | wc -l`  >> always_result.txt
echo load process number: `grep -iE 'LOAD DATA INFILE' tmp.gcluster_p.log| wc -l`  >> always_result.txt
echo sql-stmt number: `grep -iE 'insert|delete|select|update|drop|create' tmp.gcluster_p.log|grep -v 'LOAD DATA INFILE'| wc -l`  >> always_result.txt
sleep 10
if [ `cat always_result.txt|wc -l` -gt 500000 ] || [ `du -sk always_result.txt.full | awk '{print $1}'` -gt 500000 ] ;then
        tar cvfz  `pwd`/logbakup/always_result_`date +%F.%H%M%S`.tar.gz always_result.txt
        tar cvfz  `pwd`/logbakup/always_result_full_`date +%F.%H%M%S`.tar.gz always_result.txt.full
        echo >always_result.txt
        echo >always_result.txt.full
fi
done

gcluster_process.sh内容如下:

#!/bin/bash
. /home/gbase/.gbase_profile
cmd="$GCLUSTER_HOME/bin/gbase -ugbase -pgbase20110531"
while read node_ip
do
        $cmd -h $node_ip -P5258 -e "show full processlist" |sed 's/\\n/ /g'|sed 's/\\t/ /g'| while read line
        do
                dtime=`date +%Y-%m-%d' '%H:%M:%S`
                echo "#$dtime#HOST:$node_ip---------" "$line"
        done
done<node_ip.list

node_ip.list 内容如下:

192.168.56.101
192.168.56.102

 

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
存储 Linux API
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
在计算机系统的底层架构中,操作系统肩负着资源管理与任务调度的重任。当我们启动各类应用程序时,其背后复杂的运作机制便悄然展开。程序,作为静态的指令集合,如何在系统中实现动态执行?本文带你一探究竟!
【Linux进程概念】—— 操作系统中的“生命体”,计算机里的“多线程”
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
394 67
|
11月前
|
Web App开发 Linux 程序员
获取和理解Linux进程以及其PID的基础知识。
总的来说,理解Linux进程及其PID需要我们明白,进程就如同汽车,负责执行任务,而PID则是独特的车牌号,为我们提供了管理的便利。知道这个,我们就可以更好地理解和操作Linux系统,甚至通过对进程的有效管理,让系统运行得更加顺畅。
305 16
|
11月前
|
Unix Linux
对于Linux的进程概念以及进程状态的理解和解析
现在,我们已经了解了Linux进程的基础知识和进程状态的理解了。这就像我们理解了城市中行人的行走和行为模式!希望这个形象的例子能帮助我们更好地理解这个重要的概念,并在实际应用中发挥作用。
213 20
|
10月前
|
监控 Shell Linux
Linux进程控制(详细讲解)
进程等待是系统通过调用特定的接口(如waitwaitpid)来实现的。来进行对子进程状态检测与回收的功能。
227 0
|
10月前
|
存储 负载均衡 算法
Linux2.6内核进程调度队列
本篇文章是Linux进程系列中的最后一篇文章,本来是想放在上一篇文章的结尾的,但是想了想还是单独写一篇文章吧,虽然说这部分内容是比较难的,所有一般来说是简单的提及带过的,但是为了让大家对进程有更深的理解与认识,还是看了一些别人的文章,然后学习了学习,然后对此做了总结,尽可能详细的介绍明白。最后推荐一篇文章Linux的进程优先级 NI 和 PR - 简书。
297 0
|
10月前
|
存储 Linux Shell
Linux进程概念-详细版(二)
在Linux进程概念-详细版(一)中我们解释了什么是进程,以及进程的各种状态,已经对进程有了一定的认识,那么这篇文章将会继续补全上篇文章剩余没有说到的,进程优先级,环境变量,程序地址空间,进程地址空间,以及调度队列。
178 0
|
10月前
|
Linux 调度 C语言
Linux进程概念-详细版(一)
子进程与父进程代码共享,其子进程直接用父进程的代码,其自己本身无代码,所以子进程无法改动代码,平时所说的修改是修改的数据。为什么要创建子进程:为了让其父子进程执行不同的代码块。子进程的数据相对于父进程是会进行写时拷贝(COW)。
240 0
|
JavaScript 前端开发 Docker
如何通过pm2以cluster模式多进程部署next.js(包括docker下的部署)
通过这些步骤,可以确保您的Next.js应用在多核服务器上高效运行,并且在Docker环境中实现高效的容器化管理。
1395 44
|
存储 网络协议 Linux
【Linux】进程IO|系统调用|open|write|文件描述符fd|封装|理解一切皆文件
本文详细介绍了Linux中的进程IO与系统调用,包括 `open`、`write`、`read`和 `close`函数及其用法,解释了文件描述符(fd)的概念,并深入探讨了Linux中的“一切皆文件”思想。这种设计极大地简化了系统编程,使得处理不同类型的IO设备变得更加一致和简单。通过本文的学习,您应该能够更好地理解和应用Linux中的进程IO操作,提高系统编程的效率和能力。
607 34