rudy_gao
rudy_gao_个人页
rudy_gao
文章
485
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2015-11-26
PgSQL · 特性分析 · full page write 机制
PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含新旧数据的混合。
-
发表了文章 2015-11-19
postgresql 时区配置，系统主机与数据库时间不一致
--有时候操作系统的时间与pg的时间不一致，这往往时两者时区不一致造成的 --查看系统时间与时区 [postgres@rudy_01 data]$ date Thu Nov 19 09:3...
-
发表了文章 2015-11-17
mongodb 持久化
Mongodb在1.8版本之后开始支持journal，就是我们常说的redo log，用于故障恢复和持久化。
-
发表了文章 2015-11-16
Mongodb GetLastError写入安全机制
一、简介 很多人抱怨mongodb是内存数据库，也没有事务，会不安全，其实这都是对Mongodb的误解，Mongodb有完整的redolog，binlog和持久化机制，不必太担心数据丢失问题。
-
发表了文章 2015-11-16
MongoDB的选举过程
MongoDB的复制集具有自动容忍部分节点宕机的功能,在复制集出现问题时时,会触发选举相关的过程,完成主从节点自动切换.
-
发表了文章 2015-11-16
numa 架构下的 mysql，mongodb数据库
从MySQL迁移到MongoDB，在导入旧数据的过程中，遇到了些许波折，犯了不少错误，但同时也学到了不少知识，遂记录下来。
-
发表了文章 2015-11-13
mongodb主从复制
--为从节点创建上当 [mongodb@rudy 2.6]$ mkdir 27018 [mongodb@rudy 2.
-
发表了文章 2015-11-13
mongodb数据库分片
--配置config server [mongodb@rudy_01 2.6]$ mkdir 27018 [mongodb@rudy_01 2.
-
发表了文章 2015-11-13
Mysql中，int(10)和int(11)的区别
int(M) M指示最大显示宽度。最大有效显示宽度是255。显示宽度与存储大小或类型包含的值的范围无关 首先说一下mysql的数值类型，MySQL支持所有标准SQL数值数据类型。
-
发表了文章 2015-11-12
批处理查找方件中的关键词
--对于数据库来，如果开户了sql日志记录，则会很快的产生大量的日志文件，如果此时要查找系统中产生的错误日志或者警告日志， --在众多文件中无易于大海捞针，如果一个一个日志的查找的话 --以下脚本为查找特定范围内的特定关键词 --以下为脚本内容 cat mathc_file.
-
发表了文章 2015-11-03
is [not] distinct from 的 null 比较
--在postgresql中经常会比较两个值相同或者不同，但如果比较表达中有一个为null则会比较头痛，如下： postgres=# select null null ,null = n...
-
发表了文章 2015-10-30
FATAL,XX000,"highest timeline 14 of the primary is behind recovery timeline 15" rsync 增量重置备库
--在主从复制环境中，如果从库不小心打开了读写模式（相当单节点的一个数据），比如 touch /usr/local/postgresql/9.
-
发表了文章 2015-10-30
PgSQL Replication Slot 实现分析
PostgreSQL 9.4在这个版本，我们看到了像Jsonb, Logical Decoding, Replication Slot等新功能。
-
发表了文章 2015-10-28
PostgreSQL 函数稳定性状态
PostgreSQL 函数在定义的时候有三个稳定性状态可选: IMMUTABLE | STABLE | VOLATILE 分别代表，非常稳定，稳定，不稳定。
-
发表了文章 2015-10-27
PostgreSQL逻辑备份，锁，长时间导出数据与备份
PostgreSQL逻辑备份, 指通过pg_dump或者直接调用COPY进行的备份方法. 一般来说, PostgreSQL 使用pg_dump备份数据库时, 会 1.
-
发表了文章 2015-10-26
Postgres与OS内核相关的几个参数设置
Postgres在postgresql.conf里面的配置参数有几个是和OS的内核参数紧密相关的，通常默认值是偏小的，但设置过大也会造成Postgres的启动失败，官方文档(Part 17.3)有较详细的说明，但没有例子，这里给出实际示例。
-
发表了文章 2015-10-26
postgresql时间相关函数
时间与字符串转换 to_char to_date, to_timestamp 时间的计算 日期 时间戳 time interval 时间相关函数 age current_xxx,loc...
-
发表了文章 2015-10-26
postgresql备份恢复之pg_dump大数据处理
目录[-] 介绍 使用管道压缩和解压 custom-format directory-format 其他一些参数简单说明 介绍 官方文档介绍的主要有三种方式: 通过unix管道,直接读取pg_dump的输出来压缩.
-
发表了文章 2015-10-23
PostgreSQL数据库 OLTP高并发请求性能优化
在多核系统中，一般TPS会随并发数的增加而提升，但是当并发数超过一定的数值（如CPU核数的2到3倍以后），性能开始下降，并发数越高，下降越严重。
-
发表了文章 2015-10-23
不要滥用UNLOGGED table 和 hash index
注意PostgreSQL的unlogged table是不记录xlog的，所以在备库上没有unlogged table的数据记录。
-
发表了文章 2015-10-23
postgresql mode 函数
--取分组中出现频率最高的值或表达式, 如果最高频率的值有多个, 则随机取一个. mode() WITHIN GROUP (ORDER BYsort_expression) pos...
-
发表了文章 2015-10-22
PostgreSQL 9.4版本的物化视图更新
postgresql的9.4版本出来有一段时间了，也更新了很多内容，其中之一是比较感兴趣的物化视图的更新，对比原先的物化视图语法，新增了一个CONCURRENTLY参数。
-
发表了文章 2015-10-22
postgresql 查看系统中的锁信息与锁资源
--查看当前活动的客户端连接数 SELECT count(*) FROM pg_stat_activity WHERE NOT pid=pg_backend_pid(); ...
-
发表了文章 2015-10-22
修改表结构DDL语句与锁
--当pg开启一个事务，执行dml操作时，如果另一个事务要修改表结构，其不得不等待 --session1 中执行dml postgres=# begin; BEGIN postgres=# ...
-
发表了文章 2015-10-22
PostgreSQL的hstore初步学习
安装hstore扩展： postgres=# create extension hstore; CREATE EXTENSION postgres=# 进行测试： 建表： ...
-
发表了文章 2015-10-21
mysql 备份与恢复
--mysql备份整个数据库 mysqldump -uroot -p -hcentos7 -P3306 --all-database >all.
-
发表了文章 2015-10-20
PostgreSQL cluster table using index
PostgreSQL CLUSTER意在将表按照索引的顺序排布. 可以通过ctid来观察这个排布, 或者通过pg_stats.
-
发表了文章 2015-10-20
sysbench测试mysql与postgresql
--安装yum包 yum -y install bzr libtool --对压缩包进行解 --注意不要在mysql的官网下载，因为其只支持mysql不支持pg https://github.
-
发表了文章 2015-10-20
PERFORMANCE_SCHEMA数据库
--MySQL 5.5新增一个存储引擎：命名PERFORMANCE_SCHEMA ,主要用于收集数据库服务器性能参数 performance_schema提供以下功能： 提供进程等待的详...
-
发表了文章 2015-10-19
mysql 锁查看
--mysql中默认锁超时为50s select * from information_schema.
-
发表了文章 2015-10-19
postgresql的update锁等待
--当update语句执行时，如果其可以获得锁其会首先获得一个排它锁 ExclusiveLock --在session 1 中 开启一个事务 postgres=# begin; BEGIN...
-
发表了文章 2015-10-19
利用pg_trgm的gist和gin索引加速字符匹配查询
pg_trgm是用来做相似度匹配的，在一些情况下也可以拿来代替全文检索做字符匹配。从大量数据中通过字符串的匹配查找数据的关键是索引，对字符串的精确相等匹配，前缀匹配(like 'x%')和后缀匹配(like '%x')可以使用btree索引,对中缀匹配(like '%x%')和正则表达式匹配就可以用pg_trgm的索引了。
-
发表了文章 2015-10-19
POSTGRESQL区域设置对索引和排序的影响
--区域支持是在使用 initdb 创建一个数据库集群的时候自动初始化的，但可在创建数据库时单独指定 --区域设置特别影响下面的 SQL 特性 * 查询中使用 ORDER BY 或者对文本数据的标准比较操作符进行排序 * upper, lower 和 initcap 函数 * 模式匹配运算符(LIKE, SIMILAR TO, 以及 POSIX-风格的正则表达式)； 区域影 响大小写不敏感的匹配和通过字符分类正则表达式的字符分类。
-
发表了文章 2015-10-19
postgresql的匹配模式
PostgreSQL 提供了三种实现模式匹配的方法：传统 SQL 的 LIKE 操作符、SQL99 新增的 SIMILAR TO 操作符、 POSIX 风格的正则表达式。
-
发表了文章 2015-10-16
checkpoint性能测试
--checkpoint各参数的值 checkpoint_segments 最多的wal log数量，到达后会激发checkpoint，通常设定在30就好 checkpoint_timeout 一般设置15-20分钟，常的可以设定1天也没关系 checkpoint_completion_target 这个保持不动就好。
-
发表了文章 2015-10-15
PostgreSQL缓存
目录[-] pg_buffercache pgfincore pg_prewarm dstat Linux ftools 使用pg_prewarm预加载关系/索引: pgfincore 输出: 怎样刷新在操作系统缓存中的关系/索引 ? 使用pg_prewarm的range功能预加载随机块. 缓存.... !!, 它很难在一篇文章中解释清楚。
-
发表了文章 2015-10-15
请勿滥用 2PC prepared transaction
我在数据库中开启了一个2PC事务，但是不去管他，会发生什么呢？有什么危害？ postgres=# begin; BEGIN postgres=# insert into t6 val...
-
发表了文章 2015-10-15
PostgreSQL的日志类型
刚开始学习postgres的时候，可能对PostgreSQL中的日志概念比较模糊，到底有多少种日志，哪些日志是能删除的，各自又记录什么样的功能。
-
发表了文章 2015-10-15
PostgreSQL数据库压力测试工具pgbench简单应用
PG数据库提供了一款轻量级的压力测试工具叫pgbench,其实就是一个编译好后的扩展性的可执行文件。
-
发表了文章 2015-10-14
Linux网络流量实时监控工具-ifstat
ifstat工具是个网络接口监测工具,比较简单看网络流量 ifstat的安装使用： wget http://distfiles.
-
发表了文章 2015-10-13
POSTGRESQL HOT_STANDBY流复制环境搭建
--传统的搭建流复制备库步骤为以下: 1 select pg_start_backup(); 2 复制数据文件; 3 select pg_stop_backup()...
-
发表了文章 2015-10-12
PostgreSQL密码文件的设置
在进行远程备份或者登录时要手工输入密码，总是一件麻烦的事情。不过PG提供了一个简单的方法，那就是用密码文件的方式。
-
发表了文章 2015-10-10
mysql group_concat合并行用法和问题
还有分隔符还可以自定义，默认是以“,”作为分隔符，若要改为“|||”，则使用SEPARATOR来指定， 例如： mysql> SELECT student_id, GROUP_CONCAT(...
-
发表了文章 2015-10-10
pgstatspack_report 自动关生report并发送邮件通知
# 提取报表的开始与结束的snap #!/bin/bash PSQL="psql" pushd `dirname $0` #获取间隔天数 if [ $interval_d...
-
发表了文章 2015-10-09
使用getopts处理shell中的输入参数
使用getopts处理shell中的输入参数 在编写shell脚本中，经常要处理一些输入参数，在上一篇文章中已经有了一个简短的介绍，在使用过程中发现getopts更加方便，能够很好的处理用户输入的参数和参数值。
-
发表了文章 2015-10-09
shell中pushd和popd
话说shell中还有这样的命令，以前还真么有用过....pushd和popd。首先这两个命令是shell内建命令，pushd作用是建立一个目录栈，并将指定的目录加入栈顶，对应的popd就是弹出栈顶目录。
-
发表了文章 2015-10-09
Shell中的IFS解惑
一、IFS 介绍 Shell 脚本中有个变量叫 IFS(Internal Field Seprator) ，内部域分隔符。
-
发表了文章 2015-10-09
shell中各种括号的作用()、(())、[]、[[]]、{}
一、小括号，圆括号（） 1、单小括号 () ①命令组。括号中的命令将会新开一个子shell顺序执行，所以括号中的变量不能够被脚本余下的部分使用。
-
发表了文章 2015-09-22
MongoDB运行状态、性能监控，分析
mongostat详解 mongostat是mongdb自带的状态检测工具，在命令行下使用。
-
发表了文章 2015-09-22
PostgreSQL的监控一(pgsnap & pgstatspack)
监控postgreSQL的方法很多，本文做个简单的比较。大的方面，监控方法可以分为以下几种 1 直接利用PG提供的性能统计数据 PG的很多性能数据可以通过查询pg_stat_或pg_statio_开头的系统表获取。
暂无更多信息
-
发表了文章
2018-04-07
搬家了
-
发表了文章
2016-05-23
mongodb 2.4升级至3.2
-
发表了文章
2016-05-23
pg_upgrade 版本升级
-
发表了文章
2016-05-04
nulls first & nulls last 对索引影响
-
发表了文章
2016-04-29
postgresql 9.5版本之前实现upsert功能
-
发表了文章
2016-03-25
通过函数定位DML锁等待
-
发表了文章
2016-03-22
postgresql 正则暗坑
-
发表了文章
2016-03-17
mysql memcached 初探
-
发表了文章
2016-03-02
postgresql 数组类型
-
发表了文章
2016-03-01
mongo2.4_point_in_time_recovery
-
发表了文章
2016-02-26
postgresql 定时收集表和索引统计信息
-
发表了文章
2016-02-19
rsync增量重置备库
-
发表了文章
2016-02-16
Mongodb Wiredtiger存储引擎实现原理
-
发表了文章
2016-02-03
postgresql 时区与时间函数
-
发表了文章
2016-02-03
mysql 时区与时间函数
-
发表了文章
2016-02-01
mysql binlog_format 适时修改
-
发表了文章
2016-01-28
GPDB · 特性分析· GreenPlum Primary/Mirror 同步机制
-
发表了文章
2016-01-27
postgresql 聚合的暗坑
-
发表了文章
2016-01-26
mysql sql_mode 汇总整理
-
发表了文章
2016-01-26
技术的争论--人决定技术
滑动查看更多
暂无更多信息
暂无更多信息