mysql服务器CPU使用过高的优化方案
这几天系统每到晚上七点到九点这段时间接收第三方订单状态推送的时候总是出现响应超时的情况,因为这几天正好是京东的活动618,因为我们和京东有合作,接收京东的订单推送到我们平台上,一开始以为是订单量太大,tomcat服务器扛不住了,就通过top、jmap、和远程jvisualvm来进行远程监控,发现服务器的cpu和内存使用情况都很低,完全不像有问题的情况,于是查看数据库的服务器状态,发现mysql服务器的cpu使用情况始终在百分之三百多,基本上可以肯定是mysql服务器出问题了,通过上网多方查找资料,基本确定是一些统计的sql语句缺少索引出了问题,通过使用show full PROCESSLIST命令不断的刷新查看到一些state是Copy to tmp table和Sending data的sql语句,然后开始一条条的进行优化,其实就是在挨个添加索引(因为之前的数据量小,所以一直没有问题,现在数据量大了,好多sql语句也就暴露出来问题需要进行优化了),加完索引后cpu使用率就明显下来了,基本上没有出现上百的情况,然后接着刷新show full PROCESSLIST命令继续进行优化。当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引。另外也学习了一点:mysql函数 now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率。
具体show full PROCESSLIST命令的state值可以通过下面网址来分析,写的很清楚:
http://www.cnblogs.com/huangye-dream/archive/2013/05/30/3108298.html
我也引用一下原文内容:
执行状态分析
Sleep状态
通常代表资源未释放,如果是通过连接池,sleep状态应该恒定在一定数量范围内
实战范例:因前端数据输出时(特别是输出到用户终端)未及时关闭数据库连接,导致因网络连接速度产生大量sleep连接,在网速出现异常时,数据库too many connections挂死。
简单解读,数据查询和执行通常只需要不到0.01秒,而网络输出通常需要1秒左右甚至更长,原本数据连接在0.01秒即可释放,但是因为前端程序未执行close操作,直接输出结果,那么在结果未展现在用户桌面前,该数据库连接一直维持在sleep状态!
Waiting for net, reading from net, writing to net
偶尔出现无妨
如大量出现,迅速检查数据库到前端的网络连接状态和流量
案例:因外挂程序,内网数据库大量读取,内网使用的百兆交换迅速爆满,导致大量连接阻塞在waiting for net,数据库连接过多崩溃
Locked状态
有更新操作锁定
通常使用innodb可以很好的减少locked状态的产生,但是切记,更新操作要正确使用索引,即便是低频次更新操作也不能疏忽。如上影响结果集范例所示。
在myisam的时代,locked是很多高并发应用的噩梦。所以mysql官方也开始倾向于推荐innodb。
Copy to tmp table
索引及现有结构无法涵盖查询条件,才会建立一个临时表来满足查询要求,产生巨大的恐怖的i/o压力。
很可怕的搜索语句会导致这样的情况,如果是数据分析,或者半夜的周期数据清理任务,偶尔出现,可以允许。频繁出现务必优化之。
Copy to tmp table通常与连表查询有关,建议逐渐习惯不使用连表查询。
实战范例:
u 某社区数据库阻塞,求救,经查,其服务器存在多个数据库应用和网站,其中一个不常用的小网站数据库产生了一个恐怖的copy to tmp table操作,导致整个硬盘i/o和cpu压力超载。Kill掉该操作一切恢复。
Sending data
Sending data并不是发送数据,别被这个名字所欺骗,这是从物理磁盘获取数据的进程,如果你的影响结果集较多,那么就需要从不同的磁盘碎片去抽取数据,
偶尔出现该状态连接无碍。
回到上面影响结果集的问题,一般而言,如果sending data连接过多,通常是某查询的影响结果集过大,也就是查询的索引项不够优化。
如果出现大量相似的SQL语句出现在show proesslist列表中,并且都处于sending data状态,优化查询索引,记住用影响结果集的思路去思考。
Storing result to query cache
出现这种状态,如果频繁出现,使用set profiling分析,如果存在资源开销在SQL整体开销的比例过大(即便是非常小的开销,看比例),则说明query cache碎片较多
使用flush query cache可即时清理,也可以做成定时任务
Query cache参数可适当酌情设置。
Freeing items
理论上这玩意不会出现很多。偶尔出现无碍
如果大量出现,内存,硬盘可能已经出现问题。比如硬盘满或损坏。
i/o压力过大时,也可能出现Free items执行时间较长的情况。
Sorting for …
和Sending data类似,结果集过大,排序条件没有索引化,需要在内存里排序,甚至需要创建临时结构排序。
其他
还有很多状态,遇到了,去查查资料。基本上我们遇到其他状态的阻塞较少,所以不关心
已有 0 人发表留言,猛击->> 这里<<-参与讨论
ITeye推荐