Java 8并行操作的性能分析

标签: java 并行 性能分析 | 发表时间:2014-04-28 17:22 | 作者:
出处:http://it.deepinmind.com

一心多用是我的拿手好戏。当我在写这篇博客的时候,我还在为昨天聚会上说过的话感到尴尬,当时大家看我跟看怪物一样。好吧,不过所幸的是我并不孤单——Java 8它也很擅长这口。来看下它是怎么回事。

Java 8中一个关键的新特性就是它支持并行数组操作。你可以使用lambda表达式来进行排序,过滤,分组等操作,它能自动的发挥多核架构的优势。带来的好处就是作为一名Java开发人员,你只需很小的工作量就可以立马获得性能的提升。相当酷的功能。

那么问题来了——它到底能有多快,我该在什么时候使用它?答案可能会让人有些失望——这得具体情况具体分析。想知道决定因素是什么吗?继续往下看就知道了。

新的API

Java 8的新的并行操作的API非常巧妙。我们来看下准备进行测试的几个接口:

  1. 通过这个接口可以发挥多处理器的优势进行并行的数组排序:
   Arrays.parallelSort(numbers);
  1. 根据指定的条件(比如是不是素数)对集合进行分组——
   Map<Boolean, List<Integer>> groupByPrimary = numbers
    .parallelStream().collect(Collectors.groupingBy(s -> Utility.isPrime(s)));
  1. 过滤出你想要的值:
   Integer[]  prims = numbers.parallelStream().filter(s -> Utility.isPrime(s))
    .toArray();

看看这个,再想想如果你自己用多线程来实现的话。开发效率瞬间提高了有木有!这个新结构我个人比较喜欢的人一点是它的分割迭代器(Spliterator)的概念,它将一个目标集合分隔成不同的块,这些块可以并行的进行处理,然后再合并到一起。跟它的前辈迭代器那样,它可以遍历一个集合,同时这个架构非常灵活,你可以自定义遍历以及分隔集合的操作,并直接传入方法即可。

它的性能表现如何?

我通过两个场景来进行并行操作的性能测试——低竞争以及高竞争的情况。原因在于如果你直接运行某个多核运算的算法的话,结果通常都会非常不错。但如果在一个真实的环境中运行的话,问题就出现了。真实环境下有大量的线程在不停的争夺宝贵的CPU资源进行消息或者用户请求的处理。这就是性能变差的原因。为了测试这种情况我进行了如下的测试。随机生成长度为10万的整型数组,取值在0到100万之间。然后分别使用传统的方式和并行的方式进行排序,分组以及过滤操作。结果在我们的预料之中。

  1. 快排的性能快了4.7倍。
  2. 分组的性能快了5倍左右。
  3. 过滤的性能快了5.5.倍。

结果还算满意?当然不是。

Java 8并行接口性能测试

我后来又做了一个额外的测试,将上述程序重复执行了100次,结果也是一样的。测试的机器是 i7处理器的MacBook Pro。

高负载下的情况如何?

目前为止结果还算不错,这是由于CPU资源的竞争并不激烈。这是理想情况下的结果,不过不幸的是,现实环境中可没有这么理想。为了模拟现实环境中的场景我写了第二个测试用例。这个测试运行的是同样的程序,不同的是这次有10个线程在并发的执行,来模拟并行处理10个请求的情况 。每个请求都通过传统的串行方式以及新的并行的方式来进行处理。

结果

  • 排序快了20% —— 性能降低了23倍
  • 过滤快了20% ——性能降低了25倍
  • 分组慢了15%。

竞争冲突更严重的情况下性能差距肯定还会继续加大。原因在于,在多线程环境下,增加线程来进行处理其实是于事无补的。只有当CPU越多的情况下性能才会越好——线程多则无剂于事。

高并发下并行接口的性能测试

结论

尽管这些接口非常强大并且易于使用,但它们可不是什么万能钥匙。我们还得看具体情况来决定是否使用它们。如果你事先知道要并行的处理多个请求的话,最好考虑使用一个队列来保证并行处理的线程和你实际的CPU数一致。难点在于运行时的性能实际取决于硬件的体系结构以及压力程度的大小。你的程序可能只见识过压测的环境就直接上线运行了,这很容易出现写起来容易,调试起来费劲的问题。

原创文章转载请注明出处: Java 8并行操作的性能分析

英文原文链接

相关 [java 并行 性能分析] 推荐:

Java 8并行操作的性能分析

- - Java译站
当我在写这篇博客的时候,我还在为昨天聚会上说过的话感到尴尬,当时大家看我跟看怪物一样. 好吧,不过所幸的是我并不孤单——Java 8它也很擅长这口. Java 8中一个关键的新特性就是它支持并行数组操作. 你可以使用lambda表达式来进行排序,过滤,分组等操作,它能自动的发挥多核架构的优势. 带来的好处就是作为一名Java开发人员,你只需很小的工作量就可以立马获得性能的提升.

Java可变参数的性能分析

- - Java译站
可变长参数列表是Java 5中的一个新特性. 如果方法需要传入多个同类型参数的话,这个功能就非常有用. 比如说,Java 5之前如果要写一个方法来将所有入参打印到控制台上的话,它的代码会是这样的:. Java 5增加了对可变参数的支持. 这个方法现在看起来就简单多了(译注:这里看起来简单难道不是因为新的for循环.

Java异常的性能分析

- - Java译站
在Java中抛异常的性能是非常差的. 通常来说,抛一个异常大概会消耗100到1000个时钟节拍. 通常是出现了意想不到的错误,我们才会往外抛异常. 也就是说,我们肯定不希望一个进程一秒钟就抛出上千个异常. 不过有时候你确实会碰到有些方法把异常当作事件一样往外抛. 我们在 这篇文章中已经看到一个这样的典范):sun.misc.BASE64Decoder之所以性能很差就是因为它通过抛异常来对外请求道,”我还需要更多的数据“:.

Android应用性能 分析

- - CSDN博客推荐文章
  其实主要是内存方面,内存管理是个永恒的话题. 1.从工具DDMS中,在Sysinfo的tab栏里面有一个Memory usage的选项,通过USB连接Android设备以后很容易抓到图. 在图中可以看到系统随时可以用的内存是Free和Buffers两项,因为我抓图的系统只有128M的内存,所以看上去这部分可用内存已经很少了.

lucene MoreLikeThis性能分析

- - 七磅-d0evi1
最近使用lucene的MoreLikeThis实现一个小型的推荐系统. 语料由短文本构成,本身也还算比较中小等规模:7000w左右(亿级别)的数据量,3G大小的文件. 对需要的Field建完索引后的索引文件大小在4G左右. 本文只是结合自己的实践列出一些注意事项,以做为参考. 一、MoreLikeThis实现原理.

Akka简单性能分析

- - 并发编程网 - ifeve.com
因为最近工作的关系,要把异步任务从应用服务器中拆分到专门的异步处理服务器中. 是采用MQ的方式将任务消息发出,在服务端进行处理,如下图所示:. 这种方案是采用MQ作为中间的媒介,在服务端采用线程池异步处理任务,处理完成之后将结果发送到MQ中,客户端采用侦听的方式得到结果继续进行处理. 这种方案的不足是,可能在某些需求的情况下,需要将结果存放到共享的HashMap或者Threadlocal中进行存放结果,客户端会一直阻塞,直到得到结果,从多线程的角度来说,还是用了共享变量,虽然共享变量可能是线程安全的,但是从并发模型的角度来讲,并不是一个最好的方式.

leveldb性能分析和表现

- Adam - Erlang非业余研究
原创文章,转载请注明: 转载自Erlang非业余研究. 本文链接地址: leveldb性能分析和表现. Leveldb是一个google实现的非常高效的kv数据库,目前的版本1.2能够支持billion级别的数据量了. 在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计. 那么数据库最怕的的随机IO他是如何解决的呢.

分布式事务性能分析

- wangdei - 风轻扬
这两年来,随着NoSQL系统、CAP理论和Eventual Consistency的大热,关于分布式操作要保证强一致还是弱一致性的讨论络驿不绝. 双方各执一词,倾向实现强一致性的一方认为弱一致性满足不了应用开发的需要,倾向实现弱一致性的一方则认为保证强一致性将导致系统性能与可伸缩性难以接受. 弱一致性能否满足应用开发的需求这一点由应用特征决定,难以一概而论,但强一致性对系统性能、可伸缩性和可用性的影响则是可以作技术分析的.

leveldb性能分析和表现

- mbcw - IT技术博客大学习
    Leveldb是一个google实现的非常高效的kv数据库,目前的版本1.2能够支持billion级别的数据量了. 在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计.     那么数据库最怕的的随机IO他是如何解决的呢.     先说随机写,它的写都是先记录到日志文件去的,在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺序写.

Rails3中的性能分析方法

- - Taobao QA Team
(转帖请注明出处: http://qa.taobao.com/?p=15025). 性能分析是Web应用开发中非常重要的一个环节,相比访问缓慢的站点,访问快速的站点拥有更好的用户体验,帮助用户节省更多时间,带来更多的用户访问. 作为当前十分流行的Web框架, rubyonrails当然也提供很多方式进行性能分析.