NativeTask:利用本地执行引擎加速Hadoop

标签: CTO视点 | 发表时间:2012-03-29 19:01 | 作者:yangshuang
出处:http://www.programmer.com.cn

文 / 常冰琳,杨栋

NativeTask是Hadoop MapReduce的高效执行引擎实现。与MapReduce相比,NativeTask获得了不错的性能提升,主要包括更好的排序实现、关键路径避免序列化、避免复杂抽象、更好的利用压缩等。

简介

NativeTask是一个高性能MapReduce执行单元,支持C++接口。顾名思义,NativeTask是一个本地数据处理引擎,专注于数据处理本身,在MapReduce的环境下,它仅替换Task模块功能。换句话说,NativeTask并不关心资源管理、作业调度和容错,这些功能仍旧由原有的模块完成,而实际的数据处理由这个高性能处理引擎完成。任务级别的数据处理占用Hadoop集群绝大部分资源,而利用NativeTask的高效性能可以显著提高数据分析速度、降低成本。

NativeTask目前还是一个正在开发中的开源项目,虽然部分功能还没有完成,但已能体现明显的性能优势。该项目的另一个目的是提供一个本地MapReduce开发接口,以便能在此基础上构建更加高效的大数据处理工具,例如下面两种情形。

数据仓库工具。开源实现,如Hive,相比商业分析型数据库的性能还有很大劣势。目前最先进的查询执行技术,例如轻量级压缩、向量化执行、LLVM动态编译等,使用本地语言更容易实现。

数据挖掘和机器学习算法库。这类应用通常都是计算密集型,需要多次迭代计算。另外有大量的数值分析和机器学习库是本地库,C++环境可以更容易利用到这些算法库。

对已经熟悉Hadoop的用户来说,NativeTask的接口和使用方法与Hadoop Pipes类似,用户通过NativeTask提供的头文件和动态库,编译生成自己的应用库,提交作业到Hadoop集群执行。NativeTask有以下特点。

  • 高性能,加速作业执行并节约硬件资源。
  • C++接口,应用可以更方便地使用各种优化技术,例如SSE/AVX指令优化、LLVM动态编译、GPU计算等。
  • 纯二进制接口,避免序列化和反序列化开销。
  • 支持不排序的数据流,经典的MapReduce数据流是需要对记录排序的,但很多应用并不需要排序,通过移除排序,可以进一步提升性能。
  • 新加一种与MapReduce不同的编程模型接口Map-Foldl,能够更高效地执行聚合类的应用。

背景

大多数人感兴趣的问题是,为什么NativeTask能够这么快?在我看来,这从另一个问题展开更加合适:MapReduce模型是不是已经足够高效,以致于没有太大的优化空间了?

显然不是。比如,一个高质量的C++程序可以很轻易地在几秒钟内完成1GB数据的简单处理,但一个MapReduce任务(不是整个作业)通常需要几分钟来处理同样的数据。另外,最近学术界也有很多研究表明,MapReduce相比并行数据库性能差距很大,并提出一些改进方案,在特定的应用场景下获得了数十倍的性能提升,比如HadoopDB(目前已经成立创业公司Hadapt),以及最近提出的Clydesdale。这些研究都证明Hadoop还有很大的优化空间。

虽然Hadoop在可扩展性和容错性上有明显的优势,并且在处理非结构化和半结构化数据上易用性更好,但这些优势和性能并不是一种折中关系。MapReduce完全可以在保持原有计算模型不变的前提下更加高效,而且目前没有任何技术方面的局限去实现更高的性能。下面,我们来分析一下MapReduce能做到多快,假设现在有一个Hadoop节点,如表1所示。

表1 节点配置

假设每个核运行一个任务,这个节点可以并行运行12个任务,平均每个任务使用4GB内存、1个SATA硬盘。一个典型的Map任务各个流程的极限性能应该能够达到如表2所示的理想速度。

表2 Map任务各环节的理想速度

从表2可以看出,轻量级压缩可以起到放大I/O吞吐率的作用,这对Hadoop非常关键。目前最快的开源压缩算法可以做到表2中的压缩和解压速度,比如Snappy和LZ4,它们已经整合进了最新的Hadoop主干版本中。假设输入输出数据都拥有4倍的压缩比,通过简单的计算可以得到,一个Map任务可以在8秒钟之内处理1GB(压缩后250MB)数据,吞吐率约为125MB/s。更进一步,对于绝大多数的分析型作业来说,其输出规模比输入规模小得多。另外大部分作业是不需要排序的,这能够避免大部分的排序和压缩开销。最后,还可以利用多线程来加速排序和压缩,因为整个节点有很多CPU资源缝隙可以利用。综合这些因素,对于简单聚合类应用来说,在3秒钟内处理1GB数据完全可能,吞吐率是333MB/s。这个节点有12个并行任务,总的峰值吞吐能够达到333MB/s*12=4GB/s。

这个数字可能不够直观,我们把数字放大到集群。假设有一个25节点的Hadoop集群,使用10GbE网络,在资源调度、数据本地化都完美的情况下,这个集群应该能够:

  • 在1分钟内完成1TB的数据排序;
  • 在10秒钟内完成对1TB数据的简单聚合类查询。

在具备如此高性能之后,Hadoop已经具备以很低的成本来搭建数据仓库应用的能力, 并且其查询速度相比商业数据库已经没有太大的劣势。上文中提到的服务器大概为1-2万美元,其容量为12核、24TB存储。假设Hadoop的3个副本,实际压缩后容量8TB左右,平均价格为每个核1-2千美元,每TB存储1-2千美元。随着硬件成本持续降低,这个数字还会持续下降,并且在软件方面没有任何成本。在拥有与商业并行数据库可比较的性能之后,基于Hadoop开源技术的大数据解决方案的优势会更加突出。

虽然前景非常美好,但还有很长的路要走。目前在同等规模的集群上,使用1GbE网络,处理TB规模的作业一般需要十分钟到一个小时。目前一个任务处理数据的吞吐率大概为10-20MB/s,与目标100-300MB/s还有很大差距。

MapReduce性能分析

虽然前面讲到的计算包含太多的假设,但其中的各个环节都没有任何技术局限,剩下的只是工程上的问题,即一个高效的设计和实现。要设计和实现一个高效的MapReduce执行引擎,首先需要了解影响Hadoop性能的因素,主要有以下几点。

  • I/O瓶颈:绝大多数的MapReduce作业都属于数据密集型,在不使用轻量压缩的情况下,磁盘和网络I/O很容易成为瓶颈。幸运的是,最近一年内有两个非常优秀的开源压缩算法出现,Snappy和LZ4,并且都与Apache许可证兼容,目前它们已经被整合进Hadoop主干版本。对于Hadoop上的常见应用来说,其数据的压缩比是很高的,一般能达到5倍以上,排序或使用列存储后可能会更高,压缩速度约为400M/s, 解压约为1.5G/s, 基本能够将I/O吞吐能力放大5倍。通过与列式存储配合,更高的压缩比也是可能的。在开启轻量压缩之后,CPU会成为Hadoop集群的瓶颈,并且在短期内不会改变,即使目前CPU处理能力的发展要比I/O带宽的发展要快一些。
  • Map阶段排序:在简单Map任务中,排序约消耗整个任务CPU资源的一半。目前Map阶段的排序实现很低效,其原因是它使用一个大缓冲区对所有记录一起排序。另外目前的排序没有针对CPU缓存特性进行优化,一个更好的排序实现大概可以将排序性能提升10倍,目前社区已经发现这个问题,也提出一些改进方案。
  • 序列化/反序列化:序列化会造成大量的对象创建和小数组拷贝,另外也会引入过于复杂的I/O流抽象和低效的对象比较实现,而这些操作几乎贯穿整个数据处理流。这个问题很早之前也在社区提出过,后来不了了之。个人认为在MapReduce框架层没有必要引入序列化机制,二进制接口是足够的,数据的描述和存储格式应该在更上层,比如在Hive上解决。
  • Shuffle:Shuffle一直以来都被认为是一个瓶颈,使用压缩和高速网络可以部分改善这个问题。百度内部和开源社区都对Shuffle进行过很多优化,社区0.23版本MRv2使用Netty代替Jetty实现shuffle的服务器端,加入了批量传输,效率提升了30%。但还是有很大的优化空间,未来单节点的计算能力和网络带宽会越来越大,10GbE甚至40GbE会成为主流。Java和Netty能否支撑如此大的吞吐率,是否需要进一步调优,也是值得调研的。
  • 数据局部性:这应该是分布式数据库性能优于MapReduce的主要原因之一,分布式数据库的数据切分、索引优化和查询优化要先进得多,这是数十年技术积累的结果。通常同样的查询,分布式数据库会尽可能减少数据读取和节点之间数据的传输,而MapReduce模型通常需要把整个数据集处理一遍或者多遍,大量的数据扫描和传输会严重影响作业的执行时间和资源消耗。这个是有办法改进的,比如引入一些更加灵活的数据处理流和计算模型、引入不排序的数据流、引入哈希Join的算法、连接多个作业的Map和Reduce任务防止中间数据落地,等等。社区的下一代资源管理框架和MapReduce框架会更加容易扩展,并欢迎尝试各种创新。
  • 调度和启动开销:对于数据规模很小或有实时需求的应用,作业的调度和启动开销可能会比较大。

设计

对于前面描述的各种问题,NativeTask仅关注其中的一方面,即在MapReduce任务级别能够影响到方面,具体包括压缩、排序、序列化以及部分shuffle。此外,包括部分Shuffle、数据局部性以及调度,是Hadoop的其余模块和构建在Hadoop之上的应用需要关注的。这两方面上都需要持久的优化与创新,才能对整体性能产生数足够大的影响。虽然NativeTask仅关注在其中一个方面,但为上层的优化提供了更多的可能。

NativeTask选择C++实现,并不是因为Java效率不高。根据我的经验,Java对一般的数据处理非常高效,非常适合作为Hadoop的主要开发语言,但对于特殊的优化和任务,使用C++更加方便或者合适,原因如下。

  • 轻量级压缩。目前最快的轻量压缩实现都是C/C++实现, 虽然可以使用JNI包装,但是JNI有额外的开销,并且只能以批量的形式使用。使用C++可以保证轻量级压缩在数据处理的各个环节以多种形式到使用。
  • SSE/AVX优化。与压缩类似,Java只能使用JNI以批量的方式使用特殊指令集,从而影响其应用范围,例如Vectorwise中使用到的向量化优化可能就不便在Java中实现。
  • LLVM。前文提到过,该项目的主要目的是在此项目之上实现高效的查询执行引擎,以此构建数据仓库工具,而这个执行引擎需要很可能会用到LLVM,所以C++是个合适的选择。

NativeTask避免序列化和数据拷贝。如前文所述,序列化会引入大量开销,为了达到最大的吞吐率,在主要数据流中不使用序列化,基本接口为传递内存数组引用的形式,尽量避免数据拷贝。相比Java,纯二进制接口并不会为C++开发造成额外使用难度。NativeTask的主要功能为纯数据处理,不会涉及到复杂的编程元素例如多线程同步和复杂设计模式,所以尽量保持简单的设计和实现以便于最大化实施优化。

NativeTask主要由Java模块和本地模块两部分构成,它们之间使用JNI进行消息控制和数据传输。这与Hadoop Pipes和Streaming不同,其区别如表3所示。

表3 Pipes/Streaming与NativeTask的区别

NativeTask通过为Hadoop添加一个任务代理执行接口来支持NativeTask任务的运行。目前支持兼容模式和本地模式两种数据流(如图1所示)。兼容模式类似Pipes和Streaming,仍旧可以使用原生的RecordReader/Writer, 键值对序列化之后在Java与本地模块之间传输。纯本地模式下RecordReader/Writer也由C++实现,几乎不需要在Java与本地模块之间传输数据,就可以达到最高性能。目前Reduce阶段的Shuffle和Merge还没有完成,依然使用Java的实现,所以Reduce阶段的性能提高还不明显,并且成为瓶颈影响到作业整体的加速比。Reduce阶段的Shuffle和Merge完成之后,应该能够得到与Map阶段类似的性能提升,NativeTask也将成为纯本地的运行环境。

除了保持原有的接口和功能外,NativeTask也增加了一些新功能,比如,支持不排序的数据流。在原有的MapReduce模型中,Map到Reduce之间键值对的排序是整个计算模型的一部分,通过排序可以把键相同的键值对分组在一起,从而便于上层应用处理。但排序会引入以下两大开销。

  • Map到Reduce阶段的全局同步,也就是说Reducer要等到所有Map任务全部完成之后才能够开始执行,造成空等待,影响作业整体完成时间。
  • Map阶段的排序,Reduce阶段Shuffle和Merge需要缓存所有的键值对,占用大量内存,在缓冲区不足时也会写磁盘,引入大量磁盘读写。

不排序的数据流能够避免这两大开销。聚合类的应用占据大部分的数据分析应用场景,一般在聚合类的数据分析应用中,是不需要排序的,应用仅需要在自己的Mapper和Reducer中加入保存聚合状态的哈希表或者数组,其中仅保存聚合后的状态,相比保存所有键值对并排序来说,其开销要小得多。

另一个新功能是支持foldl形式的接口,它也是为聚合类应用设计的,配合非排序的数据流使用。与传统接口相比,用户不需要再关心聚合操作所需的哈希表的实现和内存管理。

新增这两个功能主要目的是进一步加速聚合类的作业,因为这类作业在简单数据分析领域是最普遍的。目前这两个功能还在开发中,其他待开发的功能包括Reduce端Shuffle和Merge、并行的排序和压缩等,具体的实现细节这里不再赘述。

测试

在一个16节点(1个master节点、15个slave节点)的集群上,测试两个简单MapReduce程序的各项性能指标。这里使用Hadoop版本1.0.1。这两个程序的特点如表4所示。

表4 测试程序的特点对比

选择这两个测试,是因为这两个测试都包含在Hadoop官方例子中,简单并容易理解,包含聚合和非聚合类作业,测试结果如表5和表6所示。

表5 Terasort性能对比

表6 WordCount性能对比

需要补充的是,测试环境的编译环境较老因此并不能编译生成较好的本地代码。我在自己的电脑上单独测试单个任务,NativeTask的性能还要再快40-60%左右。不过这里还是给出原始的测试结果。

可以看到,如果考虑到编译因素,NativeTask的Map任务处理速度可以达到原Hadoop的5-12倍,但由于Shuffle和Merge还没有实现,Reduce任务速度差别不会太大。从作业整体完成时间来看,NativeTask比Hadoop快1.5-6倍。不过相信随着NativeTask的持续开发与优化,以及现有Hadoop的持续优化,这个数字也会不断变化。

小结与展望

NativeTask是Hadoop MapReduce的高效执行引擎实现,并提供了C++编程接口。通过分析Hadoop目前的性能问题根源,并优化其中的任务执行单元涉及到的部分,NativeTask获得了不错的性能提升,性能提升的主要因素包括更好的排序实现、关键路径避免序列化、避免复杂抽象,更好地利用压缩等。NativeTask目前没有完全完成,所以期待未来还可以有更大的性能提升。从前文的计算结果可以看出,在目前的主流硬件条件下,理想的任务吞吐应该能够达到100-300MB/s, 而目前仅做到了50-100MB/s。

NativeTask仅关注Hadoop MapReduce性能因素的最底层方面,更高层次的方面也是同样重要的,并且在很多应用类型中经常占据最决定的因素。这些方面最好在更高的应用层次去优化解决,比如数据仓库工具Hive。这也是NativeTask最早计划的发展方向之一。对Hive进行改写,将其查询计划直接翻译为LLVM中间码,编译并在NativeTask上运行。Google在Tenzing的论文中描述了类似的优化,其数据处理吞吐率能够提升6-12倍。

由于目前大多数脚本语言还是C实现的,凭借C良好的接口兼容性,NativeTask很容易与其他脚本语言集成或交互,从而为更多的脚本语言提供使用Hadoop MapReduce的能力,例如Python和R语言。考虑到R语言在数据分析领域的流行程度,Hadoop对R语言的支持是一个趋势,目前已经有些开源项目在进行类似的工作。

还有一个有趣的方向是Hadoop在单一胖节点,或者胖节点组成的小集群(一个机架内)下的优化。对小型企业应用来说,其数据规模一般都在TB级别。只有少数大公司才真正需要PB级别的大数据分析。在不久的未来,随着众核技术流行,利用高密度存储,单个服务器的处理能力可以与当今的小型集群相当。在胖节点内运行的Hadoop作业可以有更多的优化机会,例如没有网络瓶颈,任务之间直接的数据共享,更小的启动开销和更精细的资源调度,结合NativeTask的性能优势,绝大部分的简单数据分析任务在单节点上就可以快速完成。同时节约大量的硬件资源。目前业界和社区更关注水平可扩展性,而对此类垂直扩展优化却似乎很少关注。

可以设想,在不久的未来,数据分析人员在自己的工作站上就可以使用Hadoop甚至R来分析TB级别的数据。如果他需要更大的计算能力,只需要将同样的程序提交到云上运行即可。目前在亚马逊云平台上可以不到1300美元每小时的价格轻松获得30000核的计算能力。但在软件层面,还没有系统可以配合做到这种无缝的可扩展能力和易用性。

声明:本文为作者原文,选登在《程序员》杂志2012年03期时进行了编辑和删减。

本文选自《程序员》杂志2012年03期,未经允许不得转载。如需转载请联系 [email protected]

《程序员》2012年杂志订阅送好礼活动火热进行中

相关 [nativetask 利用 引擎] 推荐:

NativeTask:利用本地执行引擎加速Hadoop

- - 技术改变世界 创新驱动中国 - 《程序员》官网
NativeTask是Hadoop MapReduce的高效执行引擎实现. 与MapReduce相比,NativeTask获得了不错的性能提升,主要包括更好的排序实现、关键路径避免序列化、避免复杂抽象、更好的利用压缩等. NativeTask是一个高性能MapReduce执行单元,支持C++接口. 顾名思义,NativeTask是一个本地数据处理引擎,专注于数据处理本身,在MapReduce的环境下,它仅替换Task模块功能.

Bing 利用自己的搜索引擎暗讽 Google 邪恶

- HaWk - cnBeta.COM
今天Google软件工程师Andy Arnt爆料称在Bing里输入两个搜索关键字,即可看到暗讽Google的搜索结果OneBox. 两个关键字分别是:more evil than satan himself(比撒旦本人还邪恶,如上图):.

Bing 利用自己的搜索引擎暗讽 Google 是邪恶的碎碎念

- 瑠音北樟 - 谷奥——探寻谷歌的奥秘
今天Google软件工程师Andy Arnt爆料称在Bing里输入两个搜索关键字,即可看到暗讽Google的搜索结果OneBox. more evil than satan himself(比撒旦本人还邪恶,如上图):. OneBox显示是 10^100,这正是Google名字的来源──10的100次方(googol).

JS游戏引擎

- 米随随 - HTML5研究小组
If you don’t have anything better to do and want to help fellow redditors interested in JS game dev out, feel free to fork the list and modify it as you like.

mysql 引擎优化

- - CSDN博客推荐文章
MySQL数 据库引擎取决于MySQL在安装的时候是如何被编译的. 要添加一个新的引擎,就必须重新编译MYSQL. 在缺省情况下,MYSQL支持三个引擎:ISAM、MYISAM和HEAP. 另外两种类型INNODB和BERKLEY(BDB),也常常可以使用. 如果技术高超,还可以使用MySQL++ API自己做一个引擎.

谈流程引擎

- - 人月神话的BLOG
在分布式的架构中,流程引擎和权限引擎也不适合分离构建,两者之间的耦合度相当高,一个好的流程引擎首先要依赖于一个完善的权限模型和架构,其中包括了细粒度的数据权限控制等. 流程引擎中会产生动态权限控制,动态权限和静态权限的区别是静态权限是固定的,而动态权限是跟随流程节点的执行动态变化的,如当你处理到某个流程节点的时候,你对某个工单有查看权限,但是一旦审核或处理完成后,即权限自动回收.

Mysql Innodb 引擎优化

- 彦强 - 阿辉的空间
作/译者:吴炳锡,来源:http://imysql.cn/ & http://www.mysqlsupport.cn 转载请注明作/译者和出处,并且不能用于商业用途,违者必究. InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎. InnoDB锁定在行级并且也在SELECT语句提供 一个Oracle风格一致的非锁定读.

Zend引擎的优化

- Angus - 风雪之隅
作者: Laruence(. 本文地址: http://www.laruence.com/2011/07/14/2115.html. 在PHP 5.4的更新list上, 有一句: 提升了Zend引擎的性能, 减少了内存占用.. 那么, 到底是怎么提升的呢?. 避免不必要的Hashtable. 我们知道在PHP中, 类的属性/静态属性/常量, 都是保存在Hashtable中的, 而在以前, 即使一个类没有申明属性/静态属性/常量, Zend引擎也会为他们分配Hashtable..

JS游戏引擎列表

- sku - 酷壳 - CoolShell.cn
这里有一个网址收集了关于JS游戏引擎开发库的一个列表,转过来. 关于使用JS和HTML5做的一些小游戏,可参见《HTML5 小游戏展示》. Name Latest Release License Type Notes The Render Engine 1.5.3 MIT 跨浏览器; 大规模 API; 开源. 2 gameQuery 0.5.1 CC BY-SA 2.5 和 jQuery 一起使用 gTile 0.0.1 Tile based.

uSniff:BT种子搜索引擎

- leqoqo - 软件志
一、uSniff相关信息: 1、官方主页:http://www.usniff.com/ 2、简介:uSniff是一个BT种子搜索引擎,简单、易用、实时是其最大的优点,其搜索引擎数据库包含了17个知名种子站点的种子信息,目的是想发展成为世界上最大的BT种子搜索引擎,而且对于每个种子,该搜索引擎都会进行安全认证,以保证用户的正常使用.