标签
PostgreSQL , Linux , Windows , 数据文件 , 存储格式
背景
PostgreSQL是一个跨平台的数据库，比如支持WindowS, AIX , linux , freebsd等。
同时也支持不同架构例如X86，ARM等。
对于相同架构，不同平台，是否能实现文件级别的平移，甚至物理的流复制搭建STANDBY呢？
理论上从数据库的存储层面来看，如果两个平台存储结构（比如堆表、索引、WAL日志，CLOG等）一致，是可以平移的。
比如Windows,Linux，都是x64的，那么能不能平移？ - 答案是可行的，之前平移过freebsd和linux的。（位数必须一致，32和64可不行）
从PostgreSQL代码中，并未找到存储层面不一致的地方，大家可以搜一下#ifdef WIN之类的，通常与Linux的系统调用（比如共享内存段的分配，内部进程通信等）差异较多，但是数据库本身存储层面没有找到差异。
那么我们来验证一下将Windows中的数据文件，拷贝到Linux下面使用的场景。
安装Windows PostgreSQL软件
建议下载已经打包好的二进制。
https://www.enterprisedb.com/download-postgresql-binaries
https://www.enterprisedb.com/postgresql-962-binaries-win64?ls=Crossover&type=Crossover
解压到d:\pgsql
初始化数据库
C:\windows\system32>d:
D:\>cd pgsql
D:\pgsql>cd bin
D:\pgsql\bin>initdb.exe -D d:\pgsql/data -E SQL_ASCII -U postgres --locale=C
属于此数据库系统的文件宿主为用户 "dege.zzz".
此用户也必须为服务器进程的宿主.
数据库簇将使用本地化语言 "C"进行初始化.
缺省的文本搜索配置将会被设置到"english"
禁止为数据页生成校验和.
创建目录 d:/pgsql/data ... 成功
正在创建子目录 ... 成功
选择默认最大联接数 (max_connections) ... 100
选择默认共享缓冲区大小 (shared_buffers) ... 128MB
选择动态共享内存实现 ......windows
创建配置文件 ... 成功
正在运行自举脚本 ...成功
正在执行自举后初始化 ...成功
同步数据到磁盘...成功
警告:为本地连接启动了 "trust" 认证.
你可以通过编辑 pg_hba.conf 更改或你下次
行 initdb 时使用 -A或者--auth-local和--auth-host选项.
成功。您现在可以用下面的命令开启数据库服务器：
"pg_ctl" -D "d:\pgsql/data" -l logfile start
配置参数
d:\pgsql\data\postgresql.conf
修改如下配置
port = 1951
log_destination = 'csvlog'
logging_collector = on
启动数据库
D:\pgsql\bin>pg_ctl.exe start -D "d:\pgsql\data"
正在启动服务器进程
D:\pgsql\bin>LOG: redirecting log output to logging collector process
HINT: Future log output will appear in directory "pg_log".
查看控制文件内容
D:\pgsql\bin>pg_controldata.exe "d:\pgsql\data"
pg_control 版本: 960
Catalog 版本: 201608131
数据库系统标识符: 6395009439800837980
数据库簇状态: 在运行中
pg_control 最后修改: 2017/3/8 14:25:08
最新检查点位置: 0/14EB8B0
优先检查点位置: 0/14EB618
最新检查点的 REDO 位置: 0/14EB8B0
最新检查点的重做日志文件: 000000010000000000000001
最新检查点的 TimeLineID: 1
最新检查点的PrevTimeLineID: 1
最新检查点的full_page_writes: 开启
最新检查点的NextXID: 0:542
最新检查点的 NextOID: 12402
最新检查点的NextMultiXactId: 1
最新检查点的NextMultiOffsetD: 0
最新检查点的oldestXID: 535
最新检查点的oldestXID所在的数据库：1
最新检查点的oldestActiveXID: 0
最新检查点的oldestMultiXid: 1
最新检查点的oldestMulti所在的数据库：1
最新检查点的oldestCommitTsXid:0
最新检查点的newestCommitTsXid:0
最新检查点的时间: 2017/3/8 14:22:46
不带日志的关系: 0/1使用虚假的LSN计数器
最小恢复结束位置: 0/0
最小恢复结束位置时间表: 0
开始进行备份的点位置: 0/0
备份的最终位置: 0/0
需要终止备份的记录: 否
wal_level设置： minimal
wal_log_hints设置： 关闭
max_connections设置： 100
max_worker_processes设置： 8
max_prepared_xacts设置： 0
max_locks_per_xact设置： 64
track_commit_timestamp设置: 关闭
最大数据校准: 8
数据库块大小: 8192
大关系的每段块数: 131072
WAL的块大小: 8192
每一个 WAL 段字节数: 16777216
标识符的最大长度: 64
在索引中可允许使用最大的列数: 32
TOAST区块的最大长度: 1996
大对象区块的大小: 2048
日期/时间 类型存储: 64位整数
正在传递Flloat4类型的参数: 由值
正在传递Flloat8类型的参数: 由值
数据页校验和版本: 0
连接数据库，写入测试数据
D:\pgsql\bin>psql.exe -h 127.0.0.1 -p 1951 -U postgres postgres
psql (9.6.2)
输入 "help" 来获取帮助信息.
postgres=# create table test(id int primary key, info text, crt_time timestamp);
CREATE TABLE
postgres=# insert into test select generate_series(1,100000),md5(random()::text),clock_timestamp();
INSERT 0 100000
postgres=# checkpoint;
CHECKPOINT
postgres=# select sum(hashtext(test.*::Text)) from test;
sum
--------------
210964261159
(1 行记录)
postgres=# \q
停库、打包、发送到linux x64
D:\pgsql\bin>pg_ctl.exe stop -m fast -D "d:\pgsql\data"
等待服务器进程关闭 .... 完成
服务器进程已经关闭
打包d:\pgsql\data
发送到linux
安装Linux PostgreSQL软件
参考
解压数据
unzip data.zip
修改配置
vi data/postgresql.conf
注释
#dynamic_shared_memory_type = windows
修改数据目录权限
chmod -R 700 data
启动数据库
pg_ctl start -D ./data
pg_controldata
pg_control version number: 960
Catalog version number: 201608131
Database system identifier: 6376040558507154751
Database cluster state: shut down
pg_control last modified: Wed 08 Mar 2017 11:15:19 AM CST
Latest checkpoint location: 3C/8B000028
Prior checkpoint location: 3C/8AF86CA0
Latest checkpoint's REDO location: 3C/8B000028
Latest checkpoint's REDO WAL file: 000000010000003C0000008B
Latest checkpoint's TimeLineID: 1
Latest checkpoint's PrevTimeLineID: 1
Latest checkpoint's full_page_writes: on
Latest checkpoint's NextXID: 0:88072139
Latest checkpoint's NextOID: 173243
Latest checkpoint's NextMultiXactId: 1
Latest checkpoint's NextMultiOffset: 0
Latest checkpoint's oldestXID: 1668
Latest checkpoint's oldestXID's DB: 1
Latest checkpoint's oldestActiveXID: 0
Latest checkpoint's oldestMultiXid: 1
Latest checkpoint's oldestMulti's DB: 1
Latest checkpoint's oldestCommitTsXid:0
Latest checkpoint's newestCommitTsXid:0
Time of latest checkpoint: Wed 08 Mar 2017 11:15:18 AM CST
Fake LSN counter for unlogged rels: 0/1
Minimum recovery ending location: 0/0
Min recovery ending loc's timeline: 0
Backup start location: 0/0
Backup end location: 0/0
End-of-backup record required: no
wal_level setting: replica
wal_log_hints setting: off
max_connections setting: 5000
max_worker_processes setting: 128
max_prepared_xacts setting: 0
max_locks_per_xact setting: 64
track_commit_timestamp setting: off
Maximum data alignment: 8
Database block size: 8192
Blocks per segment of large relation: 131072
WAL block size: 8192
Bytes per WAL segment: 16777216
Maximum length of identifiers: 64
Maximum columns in an index: 32
Maximum size of a TOAST chunk: 1996
Size of a large-object chunk: 2048
Date/time type storage: 64-bit integers
Float4 argument passing: by value
Float8 argument passing: by value
Data page checksum version: 0
验证数据是否正确
psql -h 127.0.0.1 -p 1951 -U postgres postgres
postgres=# select sum(hashtext(test.*::Text)) from test;
sum
--------------
210964261159
(1 row)
测试插入更新删除等。
postgres=# update test set info ='new';
UPDATE 100000
postgres=# create table test1(id int, info text, crt_time timestamp);
CREATE TABLE
postgres=# insert into test1 select * from test;
INSERT 0 100000
小结
1. 目前来看，PostgreSQL在不同平台下的存储结构是一致的，所以只要CPU架构一致，是可以实现跨平台的物理文件平移的。
2. 平移时，注意软件的编译项一致（比如数据块的大小等）。
3. 平移前，如果还安装了其他插件例如PostGIS，那么也必须在目标安装对应的插件。
4. 注意修改postgresql.conf，达到兼容。（比如动态内存分配策略，预加载动态库的位置等）
