PostgreSQL配置优化
- - CSDN博客推荐文章转载请注明原文出处： http://blog.csdn.net/roddick621. PostgreSQL配置优化. 200W（整个数据库大小约为300M）. 准备命令：pgbench -i -s 20 pgbenchdb. 测试命令：pgbench -r -j4 -c4 -T60 testdb.
PostgreSQL配置优化
标签：
postgresql
优化
| 发表时间：2013-12-26 17:21 | 作者：roddick621
出处：http://blog.csdn.net
转载请注明原文出处： http://blog.csdn.net/roddick621
PostgreSQL配置优化
硬件和系统配置
| 操作系统 | Ubuntu13.04 |
| 系统位数 | 64 |
| CPU | Intel(R) Core(TM)2 Duo CPU |
| 内存 | 4G |
| 硬盘 | Seagate ST2000DM001-1CH164 |
| 测试工具 | PostgreSQL-9.1.11 |
测试工具
| 工具名称 | pgbench |
| 数据量 | 200W（整个数据库大小约为300M） |
| 模拟客户端数 | 4 |
| 线程数 | 4 |
| 测试时间 | 60秒 |
- 准备命令：pgbench -i -s 20 pgbenchdb
- 测试命令：pgbench -r -j4 -c4 -T60 testdb
配置文件
默认的配置配置文件是保存在/etc/postgresql/VERSION/main目录下的postgresql.conf文件- 如果想查看参数修改是否生效，可以用psql连接到数据库后，用<show 选项名> 来查看。
- 如果要修改shared_buffers， 在ubuntu下可能需要执行命令<sysctl -w>Managing Kernel Resources
主要选项
| 选项 | 默认值 | 说明 | 是否优化 | 原因 |
| max_connections | 100 | 允许客户端连接的最大数目 | 否 | 因为在测试的过程中，100个连接已经足够 |
| fsync | on | 强制把数据同步更新到磁盘 | 是 | 因为系统的IO压力很大，为了更好的测试其他配置的影响，把改参数改为off |
| shared_buffers | 24MB | 决定有多少内存可以被PostgreSQL用于缓存数据（推荐内存的1/4) | 是 | 在IO压力很大的情况下，提高该值可以减少IO |
| work_mem | 1MB | 使内部排序和一些复杂的查询都在这个buffer中完成 | 是 | 有助提高排序等操作的速度，并且减低IO |
| effective_cache_size | 128MB | 优化器假设一个查询可以用的最大内存，和shared_buffers无关（推荐内存的1/2) | 是 | 设置稍大，优化器更倾向使用索引扫描而不是顺序扫描 |
| maintenance_work_mem | 16MB | 这里定义的内存只是被VACUUM等耗费资源较多的命令调用时使用 | 是 | 把该值调大，能加快命令的执行 |
| wal_buffer | 768kB | 日志缓存区的大小 | 是 | 可以降低IO，如果遇上比较多的并发短事务，应该和commit_delay一起用 |
| checkpoint_segments | 3 | 设置wal log的最大数量数（一个log的大小为16M） | 是 | 默认的48M的缓存是一个严重的瓶颈，基本上都要设置为10以上 |
| checkpoint_completion_target | 0.5 | 表示checkpoint的完成时间要在两个checkpoint间隔时间的N%内完成 | 是 | 能降低平均写入的开销 |
| commit_delay | 0 | 事务提交后，日志写到wal log上到wal_buffer写入到磁盘的时间间隔。需要配合commit_sibling | 是 | 能够一次写入多个事务，减少IO，提高性能 |
| commit_siblings | 5 | 设置触发commit_delay的并发事务数，根据并发事务多少来配置 | 是 | 减少IO，提高性能 |
测试数据
- 测试的数据是运行3次，取平均值。
- 关闭fsync是为了更好的体现出其他参数对PostgreSQL的影响。
| 参数 | 修改值 | 事务总数 | tps(包括建立连接) | tps(不包括建立连接) |
| 默认设置 | 8464 | 140.999792 | 141.016182 | |
| fsync | off | 92571 | 1479.969755 | 1480.163355 |
| shared_buffers | 1GB | 100055 | 1635.759275 | 1635.977823 |
| work_mem | 10MB | 101209 | 1665.804812 | 1666.04082 |
| effective_cache_size | 2GB | 98209 | 1636.733152 | 1636.970271 |
| maintenance_work_mem | 512MB | 92930 | 1548.029233 | 1548.223108 |
| checkpoint_segments | 32 | 195982 | 3265.995 | 3266.471064 |
| checkpoint_completion_target | 0.9 | 194390 | 3239.406493 | 3239.842596 |
| wal_buffer | 8MB | 198639 | 3310.241458 | 3310.724067 |
| 恢复fsync | off | 11157 | 185.883542 | 185.909849 |
| commit_delay && commit_siblings | 10 && 4 | 11229 | 187.103538 | 187.131747 |
总结
| 事务总数 | tps(包括建立连接) | tps(不包括建立连接) | |
| 优化前 | 8464 | 140.999792 | 141.016182 |
| 优化后(fsync=on) | 11229 | 187.103538 | 187.131747 |
| 优化后(fsync=off) | 198639 | 3310.241458 | 3310.724067 |
在fsync打开的情况下，优化后性能能够提升30%左右。因为有部分优化选项在默认的SQL测试语句中没有体现出它的优势，如果到实际测试中，提升应该不止30%。
测试的过程中，主要的瓶颈就在系统的IO，如果需要减少IO的负荷，最直接的方法就是把fsync关闭，但是这样就会在掉电的情况下，可能会丢失部分数据。
作者：roddick621 发表于2013-12-26 9:21:16 原文链接
阅读：0 评论：0 查看评论
相关 [postgresql 优化] 推荐：
PostgreSQL系统配置优化
- - 数据库 - ITeye博客原文： http://blog.csdn.net/xto/article/details/5403782. PG的配置文件是数据库目录下的postgresql.conf文件，8.0以后的版本可支持K，M，G这样的参数，只要修改相应参数后重新启动PG服务就OK了. shared_buffers：这是最重要的参数，postgresql通过shared_buffers和内核和磁盘打交道，因此应该尽量大，让更多的数据缓存在shared_buffers中.
PostgreSQL 9.1发布
- Kai Chen - Solidot开源数据库项目PostgreSQL发布了v9.1版. 新版本主要的特性包括：同步复制，序列化快照隔离，支持基于列的排序，近邻邻近索引，外来数据封装，支持SELinux许可控制，等等.
PostgreSQL 9.2发布
- - Solidot时隔一年之后，开源数据库PostgreSQL发布了v9.2版. 主要新特性包括：原生JSON支持，覆盖索引(covering indexes)，改进复制和性能等. PostgreSQL显著改善了可伸缩性：线性可扩展性支持最高64核，仅扫描索引，减少CPU消耗；改进垂直可伸缩性：有效利用大服务器硬件资源，锁管理，仅访问索引等底层操作允许数据库引擎处理更大的工作负荷——每秒最高35万只读查询，每秒写入1.4万条数据.
Mysql 和 Postgresql 对比
- - 膘叔vampire告诉我服务器上安装好了postgreSQL，他也一直在推荐这个玩意，所以了解了一下. Mysql 使用太广泛了，以至于我不得不将一些应用从mysql 迁移到postgresql, 很多开源软件都是以Mysql 作为数据库标准，并且以Mysql 作为抽象基础的，但是具体使用过程中，发现Mysql 有很多问题，所以都迁移到postgresql上了，转一个Mysql 和Postgresql 对比的文章：.
PostgreSQL与MySQL比较
- - 数据库 - ITeye博客通过执行 MySQL 命令（mysqld）启动实例. 一个实例可以管理一个或多个数据库. 一台服务器可以运行多个 mysqld 实例. 一个实例管理器可以监视 mysqld 的各个实例. 通过执行 Postmaster 进程（pg_ctl）启动实例. 一个实例可以管理一个或多个数据库，这些数据库组成一个集群.
PostgreSQL新手入门
- - 阮一峰的网络日志自从MySQL被Oracle收购以后， PostgreSQL逐渐成为开源关系型数据库的首选. 本文介绍PostgreSQL的安装和基本用法，供初次使用者上手. 以下内容基于Debian操作系统，其他操作系统实在没有精力兼顾，但是大部分内容应该普遍适用. 首先，安装PostgreSQL客户端. 然后，安装PostgreSQL服务器.
PostgreSQL Maestro 14.5 发布
- - 开源中国社区最新新闻SQL Maestro Group 发布了 PostgreSQL Maestro 14.5 ，这是一个强大的 Windows 下图形化的 PostgreSQL 数据库服务器管理和开发的解决方案. 新版本可通过这里 下载..
PostgreSQL 9.1正式版发布
- Tairan Wang - ITeye资讯频道PostgreSQL 9.1发布. PostgreSQL（发音为Post-gress-cue-ell）是一个自由的对象-关系数据库服务器（数据库管理系统），基于灵活的 BSD风格许可证. PostgreSQL支持大部分 SQL 标准并且提供了许多其他现代特性：复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等.
ubuntu源码安装postgresql
- - ITeye博客整个安装过程google无数遍，最后终于搭建完了. 具体步骤，以及遇到error解决方案. 已有 0 人发表留言，猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.