构建高性能高并发Java系统
- scourgen - ITeye博客异步通信显然可以更快的返回响应. 从实际经验看，对高吞吐服务器更大的好处是，系统中的某一服务出现问题后往往出现雪崩似的服务宕机. 这很多都是由于采用同步通信，需要等待其他服务同步通信结束后，其占用资源才能得到释放. 而这些资源往往是socket连接、线程、数据库连接等比较重的资源. 如果你真的需要他，可以用个mock同步.
构建高性能高并发Java系统
标签：
性能
并发
java
| 发表时间：2011-08-09 23:28 | 作者：(author unknown) scourgen
出处：http://www.iteye.com
1，使用异步通信
异步通信显然可以更快的返回响应。从实际经验看，对高吞吐服务器更大的好处是，系统中的某一服务出现问题后往往出现雪崩似的服务宕机。这很多都是由于采用同步通信，需要等待其他服务同步通信结束后，其占用资源才能得到释放。而这些资源往往是socket连接、线程、数据库连接等比较重的资源。因此请慎重使用同步通信。如果你真的需要他，可以用个mock同步。正如Tim Yang所说：很多远程服务调用是在关键路径中，它可以容忍失败，但是不能容忍堵塞。
2，使用NIO
NIO几乎是Java cluster的基石。大量分布式开源项目都基于此项技术。其好处是用较低的系统开销处理大量消息。在Intel(R) Pentium(R) 4 CPU 3.00GHz/1G内存的普通PC上跑基于NIO/TCP的RTSP测试，每秒处理1K个RTSP消息是没有问题的。关于NIO的架构可以参考开源项目MINA，但要注意的是，不要直接用处理NIO消息的线程处理逻辑。
3，尽量不使用锁
如果你在高性能服务器逻辑中看到同步锁，就要小心了。我们希望服务器可以同时并发的尽量多的处理请求，而同步锁恰恰摁住了业务的咽喉。同时如果线程设计有问题而导致大量线程争夺同一把锁，最坏的情况（超过1K+线程）我曾见过JVM要用几个小时来调度一个线程占锁（为什么？请牛人解释）。解决的办法就是：1，尽量不用。可能么？在一定程度上是可能的，比如我曾使用一致性哈希算法解决资源sticky的问题。用算法替代同步，是一个思路；2，尽量减少锁的范围，事同步锁影响的逻辑越少越好。效果也很明显；3，使用数据库更新替代同步也是一个思路，虽然我自己不是很喜欢，但是从实际效果看使用数据库，特别是用存储过程。在压力不大的情况也是个简单有效的方法。
4，减少GC
Full GC对Java服务器性能的影响是致命的，特别是当JVM管理着较大内存时。即使是在小型应用，例如Old区只分配512M内存，一次Full GC都可能耗时2~3秒，这意味着你所有的服务都会中断。尽量减少Full GC的次数绝对是我们的目标。
首先，合理的配置GC参数，采用ParallelGC和 ConcMarkSweepGC，即并发和增量GC。CMS，全称Concurrent Low Pause Collector，CMS用两次短暂停来替代串行标记整理算法的长暂停。
第二，打出GC log，在性能测试阶段，检查你的GC是否OK。系统在线测试时也可以提供宝贵的track。
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
给出一个实际服务器GC参数为例，
1
JAVA_OPTS=" -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+DisableExplicitGC
2
JAVA_OPTS=" -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=8
3
JAVA_OPTS="-Xms256m -Xmx640m -XX:NewSize=128m -XX:MaxNewSize=256m -Xss128k
4
JAVA_OPTS=" -XX:PermSize=64m -XX:MaxPermSize=128m
5
JAVA_OPTS=" -XX:SurvivorRatio=14 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=16
5，数据库前Cache
用queue缓存数据，一次写入多个数据。可以用多个线程同时写入数据库。在实际系统中，用多个线程同时读取cache并写入Mysql是效率很高的。
6，增加数据库索引
看起来很弱对吧？可是我真的遇到过靠加个简单的索引解决过一个很严重的性能问题。系统瓶颈的多数问题都存在于数据库和线程的使用不当上，所以还是要强调一下。
7，Master-Slave Mysql
Mysql有一篇很有名的文章来解释在Master-Slave结构下提高读效率的文章。大致就是说Mysql基准测试下max_read=1200次/s。在读写比例为9:1的情况下，通常写的时间比读的时间多一倍。假设有N个slave，如果只用slave来读，公式如下：
Max reads = 1200 – 2 * writes
Max Reads = 9 * writes / (N + 1) (读为9倍的写，平均到N+1个Mysql上)
9 * writes / (N + 1) + 2 *writes = 1200
Writes = 1200/ (2 + 9/(N+1))
结论是N=1，每秒增加到184次写
N = 8，增加到400次写
其中需要考虑的是复制多份binlog所占的网络带宽和对Master Mysql的影响。但我们在实际应用中认为mysql master-slave binlog增量同步是非常迅速且没有察觉到对性能的负面影响。但一般来说，既然memcached可以很好解决read问题，很少有team做这么大规模的mysql cluster。但小于等于4个还是可以考虑的。
总结，合理的使用异步通信，线程调度，优化GC和解决数据库瓶颈往往可以是构建高性能高并发Java消息处理服务器的利器。但这仅限于逻辑业务相对简单的即时通信系统，如果是设计大量cache调度，比如网页调度。或者是设计海量数据处理服务器，则需要考虑更多的问题。
本文纯属原创，基于实际系统经验，欢迎转载，请注明原网址；
我的新浪博客：http://blog.sina.com.cn/u/1793692835
已有 0 人发表留言，猛击->>这里<<-参与讨论
ITeye推荐
异步通信显然可以更快的返回响应。从实际经验看，对高吞吐服务器更大的好处是，系统中的某一服务出现问题后往往出现雪崩似的服务宕机。这很多都是由于采用同步通信，需要等待其他服务同步通信结束后，其占用资源才能得到释放。而这些资源往往是socket连接、线程、数据库连接等比较重的资源。因此请慎重使用同步通信。如果你真的需要他，可以用个mock同步。正如Tim Yang所说：很多远程服务调用是在关键路径中，它可以容忍失败，但是不能容忍堵塞。
2，使用NIO
NIO几乎是Java cluster的基石。大量分布式开源项目都基于此项技术。其好处是用较低的系统开销处理大量消息。在Intel(R) Pentium(R) 4 CPU 3.00GHz/1G内存的普通PC上跑基于NIO/TCP的RTSP测试，每秒处理1K个RTSP消息是没有问题的。关于NIO的架构可以参考开源项目MINA，但要注意的是，不要直接用处理NIO消息的线程处理逻辑。
3，尽量不使用锁
如果你在高性能服务器逻辑中看到同步锁，就要小心了。我们希望服务器可以同时并发的尽量多的处理请求，而同步锁恰恰摁住了业务的咽喉。同时如果线程设计有问题而导致大量线程争夺同一把锁，最坏的情况（超过1K+线程）我曾见过JVM要用几个小时来调度一个线程占锁（为什么？请牛人解释）。解决的办法就是：1，尽量不用。可能么？在一定程度上是可能的，比如我曾使用一致性哈希算法解决资源sticky的问题。用算法替代同步，是一个思路；2，尽量减少锁的范围，事同步锁影响的逻辑越少越好。效果也很明显；3，使用数据库更新替代同步也是一个思路，虽然我自己不是很喜欢，但是从实际效果看使用数据库，特别是用存储过程。在压力不大的情况也是个简单有效的方法。
4，减少GC
Full GC对Java服务器性能的影响是致命的，特别是当JVM管理着较大内存时。即使是在小型应用，例如Old区只分配512M内存，一次Full GC都可能耗时2~3秒，这意味着你所有的服务都会中断。尽量减少Full GC的次数绝对是我们的目标。
首先，合理的配置GC参数，采用ParallelGC和 ConcMarkSweepGC，即并发和增量GC。CMS，全称Concurrent Low Pause Collector，CMS用两次短暂停来替代串行标记整理算法的长暂停。
第二，打出GC log，在性能测试阶段，检查你的GC是否OK。系统在线测试时也可以提供宝贵的track。
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
给出一个实际服务器GC参数为例，
1
JAVA_OPTS=" -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+DisableExplicitGC
2
JAVA_OPTS=" -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=8
3
JAVA_OPTS="-Xms256m -Xmx640m -XX:NewSize=128m -XX:MaxNewSize=256m -Xss128k
4
JAVA_OPTS=" -XX:PermSize=64m -XX:MaxPermSize=128m
5
JAVA_OPTS=" -XX:SurvivorRatio=14 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=16
5，数据库前Cache
用queue缓存数据，一次写入多个数据。可以用多个线程同时写入数据库。在实际系统中，用多个线程同时读取cache并写入Mysql是效率很高的。
6，增加数据库索引
看起来很弱对吧？可是我真的遇到过靠加个简单的索引解决过一个很严重的性能问题。系统瓶颈的多数问题都存在于数据库和线程的使用不当上，所以还是要强调一下。
7，Master-Slave Mysql
Mysql有一篇很有名的文章来解释在Master-Slave结构下提高读效率的文章。大致就是说Mysql基准测试下max_read=1200次/s。在读写比例为9:1的情况下，通常写的时间比读的时间多一倍。假设有N个slave，如果只用slave来读，公式如下：
Max reads = 1200 – 2 * writes
Max Reads = 9 * writes / (N + 1) (读为9倍的写，平均到N+1个Mysql上)
9 * writes / (N + 1) + 2 *writes = 1200
Writes = 1200/ (2 + 9/(N+1))
结论是N=1，每秒增加到184次写
N = 8，增加到400次写
其中需要考虑的是复制多份binlog所占的网络带宽和对Master Mysql的影响。但我们在实际应用中认为mysql master-slave binlog增量同步是非常迅速且没有察觉到对性能的负面影响。但一般来说，既然memcached可以很好解决read问题，很少有team做这么大规模的mysql cluster。但小于等于4个还是可以考虑的。
总结，合理的使用异步通信，线程调度，优化GC和解决数据库瓶颈往往可以是构建高性能高并发Java消息处理服务器的利器。但这仅限于逻辑业务相对简单的即时通信系统，如果是设计大量cache调度，比如网页调度。或者是设计海量数据处理服务器，则需要考虑更多的问题。
本文纯属原创，基于实际系统经验，欢迎转载，请注明原网址；
我的新浪博客：http://blog.sina.com.cn/u/1793692835
已有 0 人发表留言，猛击->>这里<<-参与讨论
ITeye推荐
相关 [性能 并发 java] 推荐：
Java中不同的并发实现的性能比较
- - 并发编程网 - ifeve.com原文链接 作者： Alex Zhitnitsky 译者： 有孚. Fork/Join框架在不同配置下的表现如何. 正如即将上映的星球大战那样，Java 8的并行流也是毁誉参半. 并行流(Parallel Stream)的语法糖就像预告片里的 新型光剑一样令人兴奋不已. 现在Java中实现并发编程存在多种方式，我们希望了解这么做所带来的性能提升及风险是什么.
Java 性能调优
- - 编程语言 - ITeye博客1.用new关键词创建类的实例时，构造函数链中的所有构造函数都会被自动调用. 但如果一个对象实现了Cloneable接口，我们可以调用它的clone()方法. clone()方法不会调用任何类构造函数. 在使用设计模式（Design Pattern）的场合，如果用Factory模式创建对象，则改用clone()方法创建新的对象实例非常简单.
Java并发编程基础
- - 并发编程网 - ifeve.com并发是一种能并行运行多个程序或并行运行一个程序中多个部分的能力. 如果程序中一个耗时的任务能以异步或并行的方式运行，那么整个程序的吞吐量和可交互性将大大改善. 现代的PC都有多个CPU或一个CPU中有多个核. 是否能合理运用多核的能力将成为一个大规模应用程序的关键. 进程是以独立于其他进程的方式运行的，进程间是互相隔离的.
java 并发编程 synchronized
- - Java - 编程语言 - ITeye博客同步原语－－synchronized. synchronized(class)很特别，它会让另一个线程在任何需要获取class做为monitor的地方等待．class与this做为不同的监视器可以同时使用，不存在一个线程获取了class，另一个线程就不能获取该class的一切实例．. －＞线程各自获取monitor，不会有等待．.
Java并发工具类CyclicBarrier
- - CSDN博客编程语言推荐文章CyclicBarrier同步屏障. java并发工具类中有一个叫做CyclicBarrier的类，与CountDownLatch类似，都可以实现线程间的同步，但是差别是CyclicBarrier是可重置的同步屏障. 想象一个场景，有N个人不同时间走到一扇门，因为门需要N个人合力才能推开，所以人不足N个时，只能阻塞在此，等到N个人都到了之后，可以推开门，继续进行之前的工作.
[原]Java性能调优
- - 傲慢的上校的专栏写Java也有n年了，现在还是有不少的坏的代码习惯，也通过学习别人的代码学到了不少好的习惯. 留给自己做个警戒，提示以后写代码的时候注意. 在文章的后面，会提供整理的原材料下载. 1、尽量少用new生成新对象. 用new创建类的实例时，构造雨数链中所有构造函数都会被自动调用，操作速度较慢.
Java性能调优续
- - 编程语言 - ITeye博客 下面列出一些常见的关于字符串优化的策略，简单的我就不多作解释了. 1) 使用规则表达式处理字符串匹配代替复杂的字符串查找和复制操作；. 2) 使用不拷贝字符串中字符的高效方法，例如String.subString()方法；. 3) 尽可能不要使用需要拷贝字符串中字符的低效方法，例如String.toUpperCase()和String.toLowercase()；.
java 8 JVM性能优化
- - Java - 编程语言 - ITeye博客转自：http://qindongliang.iteye.com/blog/2199633. jvm java 垃圾回收 . JVM是JAVA世界的核心，了解它有助于我们更好调试，调优和开发程序，最近散仙在看JAVA特种兵一书，看完觉得，作者写的内容还是挺不错，大家感兴趣的，也可以购买本温故而知新下.
提升Java的锁性能
- - Java译站几个月前我们介绍了如何通过 Plumbr来 进行线程锁检测，随后便收到了很多类似的问题，“Hi，文章写得不错，现在我终于知道是什么引发的性能问题了，但是现在我该怎么做. 为了在我们的产品中集成这个解决方案，我们付出了许多努力，不过在本文中，我想给大家分享几个常用的优化技巧，而不一定非要使用我们这款锁检测的工具.