mysql服务器CPU使用过高的优化方案

标签: mysql 服务器 cpu | 发表时间:2017-06-19 10:45 | 作者:sky_xin
出处:http://www.iteye.com

        这几天系统每到晚上七点到九点这段时间接收第三方订单状态推送的时候总是出现响应超时的情况,因为这几天正好是京东的活动618,因为我们和京东有合作,接收京东的订单推送到我们平台上,一开始以为是订单量太大,tomcat服务器扛不住了,就通过top、jmap、和远程jvisualvm来进行远程监控,发现服务器的cpu和内存使用情况都很低,完全不像有问题的情况,于是查看数据库的服务器状态,发现mysql服务器的cpu使用情况始终在百分之三百多,基本上可以肯定是mysql服务器出问题了,通过上网多方查找资料,基本确定是一些统计的sql语句缺少索引出了问题,通过使用show full PROCESSLIST命令不断的刷新查看到一些state是Copy to tmp table和Sending data的sql语句,然后开始一条条的进行优化,其实就是在挨个添加索引(因为之前的数据量小,所以一直没有问题,现在数据量大了,好多sql语句也就暴露出来问题需要进行优化了),加完索引后cpu使用率就明显下来了,基本上没有出现上百的情况,然后接着刷新show full PROCESSLIST命令继续进行优化。当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引。另外也学习了一点:mysql函数 now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率。

具体show full PROCESSLIST命令的state值可以通过下面网址来分析,写的很清楚:

http://www.cnblogs.com/huangye-dream/archive/2013/05/30/3108298.html

我也引用一下原文内容

 

执行状态分析

Sleep状态

通常代表资源未释放,如果是通过连接池,sleep状态应该恒定在一定数量范围内

实战范例:因前端数据输出时(特别是输出到用户终端)未及时关闭数据库连接,导致因网络连接速度产生大量sleep连接,在网速出现异常时,数据库too many connections挂死。

简单解读,数据查询和执行通常只需要不到0.01秒,而网络输出通常需要1秒左右甚至更长,原本数据连接在0.01秒即可释放,但是因为前端程序未执行close操作,直接输出结果,那么在结果未展现在用户桌面前,该数据库连接一直维持在sleep状态!

Waiting for net, reading from net, writing to net

偶尔出现无妨

如大量出现,迅速检查数据库到前端的网络连接状态和流量

案例:因外挂程序,内网数据库大量读取,内网使用的百兆交换迅速爆满,导致大量连接阻塞在waiting for net,数据库连接过多崩溃

Locked状态

有更新操作锁定

通常使用innodb可以很好的减少locked状态的产生,但是切记,更新操作要正确使用索引,即便是低频次更新操作也不能疏忽。如上影响结果集范例所示。

在myisam的时代,locked是很多高并发应用的噩梦。所以mysql官方也开始倾向于推荐innodb。

Copy to tmp table

索引及现有结构无法涵盖查询条件,才会建立一个临时表来满足查询要求,产生巨大的恐怖的i/o压力。

很可怕的搜索语句会导致这样的情况,如果是数据分析,或者半夜的周期数据清理任务,偶尔出现,可以允许。频繁出现务必优化之。

Copy to tmp table通常与连表查询有关,建议逐渐习惯不使用连表查询。

实战范例:

u 某社区数据库阻塞,求救,经查,其服务器存在多个数据库应用和网站,其中一个不常用的小网站数据库产生了一个恐怖的copy to tmp table操作,导致整个硬盘i/o和cpu压力超载。Kill掉该操作一切恢复。

Sending data

Sending data并不是发送数据,别被这个名字所欺骗,这是从物理磁盘获取数据的进程,如果你的影响结果集较多,那么就需要从不同的磁盘碎片去抽取数据,

偶尔出现该状态连接无碍。

回到上面影响结果集的问题,一般而言,如果sending data连接过多,通常是某查询的影响结果集过大,也就是查询的索引项不够优化。

如果出现大量相似的SQL语句出现在show proesslist列表中,并且都处于sending data状态,优化查询索引,记住用影响结果集的思路去思考。

Storing result to query cache

出现这种状态,如果频繁出现,使用set profiling分析,如果存在资源开销在SQL整体开销的比例过大(即便是非常小的开销,看比例),则说明query cache碎片较多

使用flush query cache可即时清理,也可以做成定时任务

Query cache参数可适当酌情设置。

Freeing items

理论上这玩意不会出现很多。偶尔出现无碍

如果大量出现,内存,硬盘可能已经出现问题。比如硬盘满或损坏。

i/o压力过大时,也可能出现Free items执行时间较长的情况。

Sorting for …

和Sending data类似,结果集过大,排序条件没有索引化,需要在内存里排序,甚至需要创建临时结构排序。

其他

还有很多状态,遇到了,去查查资料。基本上我们遇到其他状态的阻塞较少,所以不关心



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [mysql 服务器 cpu] 推荐:

sysbench测试MySQL服务器性能(cpu,io,内存,mysql等)

- - CSDN博客数据库推荐文章
Sysbench的安装请参考http://blog.csdn.net/mchdba/article/details/8951289. sysbench采用寻找最大素数的方式来测试CPU的性能. 首先生成需要的测试文件,文件总大小1000M,16个并发线程,随机读写模式. 执行完后会在当前目录下生成一堆小文件.

Mysql数据库服务器的CPU占用很高分析

- - ITeye博客
   MySQl服务器CPU占用很高.   一个简单的接口,根据传入的号段查询号码归属地,运行. 性能测试脚本,20个并发mysql的CPU就很高,监控发现只有一个select语句,且表建立了索引.   查询语句索引没有命中导致.   开始时的select. 咨询说where中使用SUBSTRING函数不行,修改函数为LEFT,语句为 SELECT `province_name`, `city_name` FROM `conf_phoneno_section` WHERE LEFT(?, phoneno_section_len) = phoneno_section LIMIT ?.

mysql服务器CPU使用过高的优化方案

- - 数据库 - ITeye博客
当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引. 另外也学习了一点:mysql函数 now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率.

用MySQL Slow Log解决MySQL CPU占用高的问题

- - OurMySQL
   在Linux VPS系统上有时候会发现MySQL占用CPU高,导致系统的负载比较高. 这种情况很可能是某个SQL语句执行的时间太长导致的. 优化一下这个SQL语句或者优化一下这个SQL引用的某个表的索引一般能解决问题.    但是怎么找到是哪个SQL语句的执行时间过长呢. 可以通过MySQL Slow Log来找,详解如下.

Java项目服务器cpu占用100%解决办法

- - 互联网 - ITeye博客
       项目上线后运行一段时间,突然发现cpu 8个逻辑核心都占用100%,心情很紧张,然后就在网上找了一些解决方法,具体如下:.        1.查找哪些进程在耗cpu .        进入服务器,top 命令看一下,发现进程6633占用了800% .        2.把进程的栈dump到文件里,以便后面的分析.

[MySQL CPU]线上飙升800%,load达到12的解决过程

- - CSDN博客数据库推荐文章
接到报警通知,负载过高,达到800%,load也过高,有11了. MySQL版本为5.6.12-log. 1 top 之后,确实是mysqld进程占据了所有资源. 2 查看error日志,无任何异常. 3 show eninge innodb status\G,没有死锁信息. 没有耗时非常大的慢sql再跑.

数据库服务器CPU 突然持续100%后自动下降原因诊断

- - CSDN博客推荐文章
1、CPU接近100% nmon数据. 8月5日在9:20—9:40之间,出现CPU接近100%的情况,特点表现为9:20左右CPU急剧攀升,在9:45左右又快速下降. 2.1 持续时间与恢复方式. 此次CPU攀高时间持续约20分钟,在无人工干预的情况下自动恢复. 经过分析,原因为:4条SQL语句ORACLE优化器对LB_T_XXXVIDER视图、LB_T_XXXJECT_PROVIDER表、LA_XXCKAGE表的基数数据评估发生了巨大的差错,导致选择了错误的执行计划,消耗大量的CPU资源.

mysql数据库性能优化的关键参数及mysql服务器优化

- - CSDN博客数据库推荐文章
MySQL数据库性能优化的关键参数. 关键参数一: back_log. 要求 MySQL 能有的连接数量. 当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用,然后主线程花些时间(尽管很短)检查连接并且启动一个新线程. back_log 值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中.

检查MySQL数据库服务器的shell脚本

- 铭文 - MySQLOPS 数据库与运维自动化技术分享
某著名电子商务公司的同事,编写的shell脚本,用于获得数据库服务器的数据库性能和配置,以及服务器负载LOAD等信息. shell脚本较长,也对shell脚本做了部分修改,同时为使技术朋友们更容易理解和使用,添加相关的文字和图片描述作为手册. 1.         功能描述. 执行shell命令:sh Get_Local_Kpi.sh –help,能显示相关信息,如图1-1:.

Fio模拟Mysql服务器IO压力脚本

- 狗尾草 - Erlang非业余研究
原创文章,转载请注明: 转载自Erlang非业余研究. 本文链接地址: Fio模拟Mysql服务器IO压力脚本. fio是个非常好用的io压力模拟工具,功能非常齐全, 有兴趣的同学参看 这里. 这里我用fio模拟我们线上mysql服务器的压力来为厂家送来的pci-ssd卡做压力测试,底下是脚本(已经测试正确),也许有的同学有用.