2012DTCC – MySQL性能调优最佳实践

上周受邀于 IT168，在 2012年度的 DTCC 大会上做了一个小的主题分享，内容主要是最近几年在 MySQL 数据库的性能调优过程中积累的一点点经验总结，希望能对大家有用. 其中部分内容在之前的 第二届华东地区数据库大会 上已经有过分享，这次是在当时分享内容的基础上增加了硬件和系统层面的内容，同时根据听众反馈对原有内容进行了部分优化改进.

转自：http://suhuanzheng7784877.iteye.com/blog/2047209. Mysql高性能学习笔记-01. Mysql整体的架构模块如下图所示. 模块1：连接客户端，这个一般是指mysql基于mysql通讯协议的驱动程序. 比如mysql的Java的JDBC驱动程序——mysql-connector-java-5.1.26-bin.jar.

每张表数据最好不要超过2000W 条数据. 超过之后分表存储，分库存储. 一个实例oracle一时打开一个数据库. 一个实例mysql一时打开多个数据库. 按对数据调优影响从高到低依次为：. mysql服务优化，内存磁盘的使用. 插入，修改，删除数据的时候，索引是最大的瓶颈. 所以如果要导入数据的时候就删除索引.

原文作者： Alexander Rubin，Percona 工程师. 原文连接：Linux performance tuning tips for MySQL. 为了方面阅读，我没依照原文按行逐句的进行翻译. 另外，我自己的扩充了一下基础知识点，很多知识点也是我第一次去学习，翻阅了一些资料. 原文中对Linux系统参数的优化主要分为文件系统、内存与swap、CPU三方面.

应用逻辑 就是用c3p0 到数据库查询数据并http返回Json数据. 1 调优前的最初的测试结果   JMeter test result. 这个数据是从程序的log 中打印出的 数据库select语句 中得出的结果（正确与否后面会有讨论）. 2 经过IOD系统打印 SQL query 的执行时间 和 tomcat 每个request 的 响应时间，找出 系统瓶颈 是因为一个 select语句 使用了 in：.

我们经常看到一些文章吹嘘某产品如何如何快，如何如何强，而自己测试时却不如描述的一些数据. 其实原因可能在于你还不是真正理解其内部结构，对于其性能调优方法不够了解. 本文转自TaoBao的Ken Wu同学的博客，是目前看到比较完整的HBase调优文章. 原文链接：HBase性能调优. 因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果.

   1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好.

是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息. 对几个map或reduce进行profiling. 非常影响速度，建议在小数据量上尝试. 1表示不reuse，-1表示无限reuse，其他数值表示每个jvm reuse次数. reuse的时候，map结束时不会释放内存.

        Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优.         对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的. Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程拷贝数据量，最终表现为Map Task和Reduce Task执行时间缩短.

1.用new关键词创建类的实例时，构造函数链中的所有构造函数都会被自动调用. 但如果一个对象实现了Cloneable接口，我们可以调用它的clone()方法. clone()方法不会调用任何类构造函数. 在使用设计模式（Design Pattern）的场合，如果用Factory模式创建对象，则改用clone()方法创建新的对象实例非常简单.