MySQL insert性能优化
- - Rebill's Blog对于一些数据量较大的系统，面临的问题除了是查询效率低下，还有一个很重要的问题就是插入时间长. 我们就有一个业务系统，每天的数据导入需要4-5个钟. 这种费时的操作其实是很有风险的，假设程序出了问题，想重跑操作那是一件痛苦的事情. 因此，提高大数据量系统的MySQL insert效率是很有必要的. 经过对MySQL的测试，发现一些可以提高insert效率的方法，供大家参考参考.
MySQL insert性能优化
标签：
mysql
insert
性能优化
| 发表时间：2013-10-28 22:05 | 作者：Rebill
出处：http://blog.rebill.info/
对于一些数据量较大的系统，面临的问题除了是查询效率低下，还有一个很重要的问题就是插入时间长。我们就有一个业务系统，每天的数据导入需要4-5个钟。这种费时的操作其实是很有风险的，假设程序出了问题，想重跑操作那是一件痛苦的事情。因此，提高大数据量系统的MySQL insert效率是很有必要的。
经过对MySQL的测试，发现一些可以提高insert效率的方法，供大家参考参考。
1. 一条SQL语句插入多条数据。
常用的插入语句如：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
修改成：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);
修改后的插入操作能够提高程序的插入效率。这里第二种SQL执行效率高的主要原因有两个，一是减少SQL语句解析的操作， 只需要解析一次就能进行数据的插入操作，二是SQL语句较短，可以减少网络传输的IO。
这里提供一些测试对比数据，分别是进行单条数据的导入与转化成一条SQL语句进行导入，分别测试1百、1千、1万条数据记录。
| 记录数 | 单条数据插入 | 多条数据插入 |
|---|---|---|
| 1百 | 0.149s | 0.011s |
| 1千 | 1.231s | 0.047s |
| 1万 | 11.678s | 0.218s |
2. 在事务中进行插入处理。
把插入修改成：
START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
...
COMMIT;
使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部会建立一个事务，在事务内进行真正插入处理。通过使用事务可以减少数据库执行插入语句时多次“创建事务，提交事务”的消耗，所有插入都在执行后才进行提交操作。
这里也提供了测试对比，分别是不使用事务与使用事务在记录数为1百、1千、1万的情况。
| 记录数 | 不使用事务 | 使用事务 |
|---|---|---|
| 1百 | 0.149s | 0.033s |
| 1千 | 1.231s | 0.115s |
| 1万 | 11.678s | 1.050s |
性能测试：
这里提供了同时使用上面两种方法进行INSERT效率优化的测试。即多条数据合并为同一个SQL，并且在事务中进行插入。
| 记录数 | 单条数据插入 | 合并数据+事务插入 |
|---|---|---|
| 1万 | 0m15.977s | 0m0.309s |
| 10万 | 1m52.204s | 0m2.271s |
| 100万 | 18m31.317s | 0m23.332s |
从测试结果可以看到，insert的效率大概有50倍的提高，这个一个很客观的数字。
注意事项：
1. SQL语句是有长度限制，在进行数据合并在同一SQL中务必不能超过SQL长度限制，通过max_allowed_packe配置可以修改，默认是1M。
2. 事务需要控制大小，事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项，超过这个值会日志会使用磁盘数据，这时，效率会有所下降。所以比较好的做法是，在事务大小达到配置项数据级前进行事务提交。
原文地址：http://blog.csdn.net/tigernorth/article/details/8094277
相关 [mysql insert 性能优化] 推荐：
MySQL性能优化
- sun - IT程序员面试网在笔试面试中，尤其是像百度，淘宝这些数据量非常大，而且用LAMP架构的公司，数据库优化方面就显得特别重要了. 此外，除了数据库索引之外，在LAMP结果如此流行的今天，数据库（尤其是MySQL）性能优化也是海量数据处理的一个热点. 下面就结合自己的经验，聊一聊MySQL数据库优化的几个方面. 首先，在数据库设计的时候，要能够充分的利用索引带来的性能提升，至于如何建立索引，建立什么样的索引，在哪些字段上建立索引，上面已经讲的很清楚了，这里不在赘述.
Mysql性能优化
- - 数据库 - ITeye博客MySQL性能优化. 性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间. 性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等. 数据库管理人员可以使用SHOW STATUS语句来查询MySQL数据库的性能. 语法：SHOW STATUE LIKE ‘value’；其中value参数是常用的几个统计参数.
mysql性能优化教程
- coolzsb - caoz的和谐blog[转]MySQL性能优化
- - IO永远是数据库最容易瓶颈的地方，这是由数据库的职责所决定的，大部分数据库操作中超过90%的时间都是 IO 操作所占用的，减少 IO 次数是 SQL 优化中需要第一优先考虑，当然，也是收效最明显的优化手段. 2.降低 CPU 计算. 除了 IO 瓶颈之外，SQL优化中需要考虑的就是 CPU 运算量的优化了.
MySQL性能优化必备25条
- Quantum - ITeye论坛最新讨论今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显. 关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情. 当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能. 这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库.
mysql性能优化脚本mysqltuner.pl
- - 开心平淡对待每一天。热爱生活 无意中发现了，major哥们开发的一个性能分析脚本，很有意思，可以通过这个脚本学学他的思想. 官方站点： http://blog.mysqltuner.com/get-involved/.
MySQL学习笔记 8 -性能优化
- - CSDN博客数据库推荐文章SHOW STATUS LIKE ‘value'； 查询MySQL数据库的性能. Connections：连接MySQL服务器的次数. Uptime：MySQL服务器的上线时间. Slow_queries：慢查询的次数. Com_lelect：查询操作的次数. Com_insert：插入操作的次数.
【转载】mysql 性能优化方案
- - 数据库 - ITeye博客文章来自： http://www.2cto.com/database/201107/96550.html. 内容简介：这是一篇关于mysql 性能优化的文章. 网上有不少mysql 性能优化方案，不过，mysql的优化同sql server相比，更为麻烦，同样的设置，在不同的环境下 ，由于内存，访问量，读写频率，数据差异等等情况，可能会出现不同的结果，因此简单地根据某个给出方案来配置mysql是行不通的，最好能使用status信息对mysql进行具体的优化.
浅谈MySQL 数据库性能优化
- - BlogJava-qileilove数据库是 IO 密集型的程序，和其他数据库一样，主要功能就是数据的持久化以及数据的管理. 本文侧重通过优化MySQL 数据库缓存参数如查询缓存，表缓存，. 日志缓存，索引缓存，innodb缓存，插入缓存，以及连接参数等方式来对MySQL数据库进行优化. 这里先引用一句话，从内存中读取一个数据的时间消耗是微秒级别，而从普通硬盘上读取一个数据是在毫秒级别，二者相差3个数量级.