• 售前

  • 售后

热门帖子
入门百科

postgresql淘汰wal日志生成量的操纵

[复制链接]
Kevin300 显示全部楼层 发表于 2021-10-26 12:43:37 |阅读模式 打印 上一主题 下一主题
1、在繁忙的体系中,如果须要低沉checkpoint发生的频率,减少WAL日记的天生量,减轻对体系IO的压力,可以通过以下两种方法。
1) 调整WAL segment巨细,最高可以调整到64MB,不外只能通过编译来调整。对于已有体系不太方便;
2) 增大checkpoint_segments设置,使得checkpoint不会过于频仍地被触发;
2、在9.5中,checkpoint_segments被废弃,可以通过新增参数max_wal_size来调整,该参数缺省为1GB,已经是9.4的2倍。但如果9.4中手工设置了checkpoint_segments,如本例,则以下的公式可以做为9.5设置max_wal_size的参考。
  1. max_wal_size = (3 * checkpoint_segments) * 16MB
复制代码
增补:PostgreSQL利用全备与WAL日记规复数据库
一样寻常情况全备只能做到备份时刻的规复,在全备操作过后的数据库信息无法同步,此时就须要利用wal日记来举行时间点的规复
底子备份——全备

利用pg_basebackup
pg_basebackup是postgresql提供的一个方便底子备份的工具(9.1开始提供),这个工具会把整个数据库实例的数据都拷贝出来,而不只是把实例中的部分(如某个数据库或表)单独备份出来,该工具利用replication协议毗连到数据库实例上,以是主数据库中的pg_hba.conf必须允许replication毗连,雷同如下:
  1. local replication postgre ident
复制代码
在9.2之后支持级连复制,以是在之后的版本中,pg_basebackup也可以从别的一个standby库上做底子备份,都需留意如下几方面:
1、备份中没有备份汗青文件;
2、不确保所有须要的WAL文件都备份了,如果想确保,须要加命令行参数 ”-x";
3、如果在备份过程中standby被提拔为主库,则备份会失败;
4、要求主库中打开了“full_page_writes"参数,WAL文件不能被雷同pg_compresslog的工具去掉full_page_writes信息。
参数
-Ft F表示输特别式,t为tar包的格示,p,默认值,输出为目录。
-X fetch X表示收集wal日记的方式 fetch表示收集wal日记,stream为不收集,以备库streaming的方式追赶主库,none一样寻常不利用
-h 要备份数据库的地点的IP
-p 数据库端标语
-P 备份进度,以百分制显示
-v 输出备份信息,如上面pg_basebackup:等雷同语句。
-W 输入暗码选项
-D 要备份到的目录
其他选项 比如-R 备份备库时生存recover.conf文件
WAL日记的的备份

测试流程
将被数据文件全备
一台是已运行的主库,一台是安装好数据库但是没有初始化的预规复库
将主库的数据文件全备到备库的的数据目录中

继续操作主库
在表中插入几行数据,并留下时间
  1. postgres=# insert into test08 values (6666666,'asdfg');
  2. INSERT 0 1
  3. postgres=# insert into test08 values (6666666,'asdfg');
  4. INSERT 0 1
  5. postgres=# insert into test08 values (6666666,'asdfg');
  6. INSERT 0 1
  7. postgres=# insert into test08 values (6666666,'asdfg');
  8. INSERT 0 1
  9. postgres=# insert into test08 values (6666666,'asdfg');
  10. INSERT 0 1
  11. postgres=# insert into test08 values (6666666,'asdfg');
  12. INSERT 0 1
复制代码
  1. postgres=# select now();
  2. now
  3. -------------------------------
  4. 2018-07-18 15:03:28.969495+08
  5. (1 row)
  6. postgres=#
复制代码
切换wal日记
  1. postgres=# select pg_switch_wal();
  2. pg_switch_wal
  3. ---------------
  4. 5/EF0009D8
  5. (1 row)
  6. postgres=#
复制代码
####将wal日记归档到备库
这边是直接将日记传过去,到备库的/backup 目录

设置recovery.conf文件

在pgdata目录里,创建文件
  1. [postgres@mdw pgdata]$ cat recovery.conf
  2. recovery_target_time = ' 2018-07-18 11:00:18.526347+08 '
  3. restore_command = 'cp /backup/pg_wal/%f %p'
复制代码
启动规复实例
  1. [postgres@mdw pgdata]$ pg_ctl start
  2. waiting for server to start....2018-07-18 15:07:52.420 CST [3353] LOG: listening on IPv4 address "0.0.0.0", port 5432
  3. 2018-07-18 15:07:52.420 CST [3353] LOG: listening on IPv6 address "::", port 5432
  4. 2018-07-18 15:07:52.426 CST [3353] LOG: listening on Unix socket "/tmp/.s.PGSQL.5432"
  5. 2018-07-18 15:07:52.468 CST [3354] LOG: database system was interrupted; last known up at 2018-07-18 15:00:09 CST
  6. 2018-07-18 15:07:52.950 CST [3354] LOG: starting point-in-time recovery to 2018-07-18 15:03:28.969495+08
  7. 2018-07-18 15:07:52.987 CST [3354] LOG: restored log file "0000000100000005000000F8" from archive
  8. 2018-07-18 15:07:53.247 CST [3354] LOG: redo starts at 5/F8000028
  9. 2018-07-18 15:07:53.308 CST [3354] LOG: consistent recovery state reached at 5/F8000B08
  10. 2018-07-18 15:07:53.308 CST [3353] LOG: database system is ready to accept read only connections
  11. done
  12. server started
  13. [postgres@mdw pgdata]$ 2018-07-18 15:07:53.343 CST [3354] LOG: restored log file "0000000100000005000000F9" from archive
  14. 2018-07-18 15:07:53.626 CST [3354] LOG: restored log file "0000000100000005000000FA" from archive
  15. 2018-07-18 15:07:54.192 CST [3354] LOG: invalid record length at 5/FA000140: wanted 24, got 0
  16. 2018-07-18 15:07:54.192 CST [3354] LOG: redo done at 5/FA000108
  17. 2018-07-18 15:07:54.192 CST [3354] LOG: last completed transaction was at log time 2018-07-18 15:03:20.200594+08
  18. 2018-07-18 15:07:54.397 CST [3354] LOG: restored log file "0000000100000005000000FA" from archive
  19. cp: cannot stat `/backup/pg_wal/00000002.history': No such file or directory
  20. 2018-07-18 15:07:54.633 CST [3354] LOG: selected new timeline ID: 2
  21. cp: cannot stat `/backup/pg_wal/00000001.history': No such file or directory
  22. 2018-07-18 15:07:55.160 CST [3354] LOG: archive recovery complete
  23. 2018-07-18 15:07:55.263 CST [3353] LOG: database system is ready to accept connections
复制代码
查看规复情况
发现已经将之后的操作在备库上举行规复了
  1. postgres=# select * from test08 where id=6666666;
  2. id | n
  3. ---------+-------
  4. 6666666 | asdfg
  5. 6666666 | asdfg
  6. 6666666 | asdfg
  7. 6666666 | asdfg
  8. 6666666 | asdfg
  9. 6666666 | asdfg
  10. (6 rows)
复制代码
以上为个人履历,渴望能给各人一个参考,也渴望各人多多支持脚本之家。如有错误或未思量完全的地方,望不吝见教。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作