Task运行过程分析

2 Task运行过程分析
Map Task分解成Read、Map、Collect、Spill、Combine五个阶段，Reduce Task分解成Shuffle、Merge、Sort、Reduce、Write五个阶段。
2.1 Map Task整体流程
1) Read阶段：Map Task通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value；
2) Map：将解析出的key/value交给用户编写的map()函数处理，并产生一系列新的key/value；
3) Collect：当Map处理完数据后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分片（通过调用Partitioner），并写入一个环形内存缓冲区中；
4) Spill：即“溢写”，当环形内存缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作；
5) Combine：当所有数据处理完成后，Map Task对所有临时文件进行一次合并，以确保最终只会生成一个数据文件；
2.2 Reduce Task整体流程
1) Shuffle阶段：也称为copy阶段，Reduce Task从各个Map Task上远程拷贝一片数据，对针对某一片数据，如果其大小超过一定的阈值，则写到磁盘上，否则直接放到内存中；
2) Merge：在远程拷贝数据的同时，Reduce Task启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多；
3) Sort：为了将key相同的数据聚在一起，采用了基于排序的策略。由于各个Map Task已经实现对自己的处理结果进行了局部排序，因此，Reduce Task只需对所有数据进行一次归并排序即可；
4) Reduce：将每组数据依次交给用户编写的reduce()函数处理；
5) Write：将计算结果写到hdfs上；


已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐

• —软件人才免语言低担保 赴美带薪读研！—