hadoop 的 mapreduce 的流程图如下：
（1）用户提交一个任务以后，该任务由JobTracker协调，先执行Map阶段（图中M1，M2和M3），然后执行Reduce阶段（图中R1和R2）。Map阶段和Reduce阶段动作都受TaskTracker监控，并运行在独立于TaskTracker的Java虚拟机中。
（2）输入和输出都是HDFS上的目录（如上图所示）。输入由InputFormat接口描述，它的实现如ASCII文件，JDBC数据库等，分别处理对于的数据源，并提供了数据的一些特征。通过InputFormat实现，可以获取InputSplit接口的实现，这个实现用于对数据进行划分（图中的split1到split5，就是划分以后的结果），同时从InputFormat也可以获取RecordReader接口的实现，并从输入中生成<k,v>对。有了<k,v>，就可以开始做map操作了。
（3）map操作通过context.collect（最终通过OutputCollector. collect）将结果写到context中。当Mapper的输出被收集后，它们会被Partitioner类以指定的方式区分地写出到输出文件里。我们可以为Mapper提供Combiner，在Mapper输出它的<k,v>时，键值对不会被马上写到输出里，他们会被收集在list里（一个key值一个list），当写入一定数量的键值对时，这部分缓冲会被Combiner中进行合并，然后再输出到Partitioner中（图中M1的黄颜色部分对应着Combiner和Partitioner）。
(4) Map的动作做完以后，进入Reduce阶段。这个阶段分3个步骤：copy（复制数据）、排序（sort）和reduce。copy就是reduce节点从执行各个Map任务的服务器那里，拷贝的属于自己的数据；sort将从各个map节点那里copy到的数据进行排序；reduce是对排序的结果进行操作输出。
2. map 端操作的关键点
map端的数据结构如下图：
Hadoop的机制是通过一个circle buffer 收集Mapper的输出, 到了 io.sort.mb * io.sort.spill.percent或者key-value的数目超限（通过 io.sort.record.percent可以计算出记录的最大数目 ）的时候，就spill到disk，如下图。图中出现了两个数组和一个缓冲区，kvindices保持了记录所属的（Reduce）分区、key在缓冲区开始的位置和value在缓冲区开始的位置；通过kvindices，可以在缓冲区中找到对应的key-value记录。kvoffets用于在缓冲区满的时候对kvindices的partition进行排序，排完序的结果将输出到输出到本地磁盘上， 其中索引（每个 reduce 的数据的 index ）保存在 spill{spill 号 }.out.index 中，数据保存在 spill{spill 号 }.out 中。
当Mapper任务结束后，有可能会出现多个spill文件，这些文件会做一个归并排序，形成Mapper的一个输出（spill.out和spill.out.index）。
map 小结： map 的输出结果包括两部分，一部分是将要传输到每个 reduce 节点的数据的索引文件（spill.out.index）； 另一个部分是将要传输到 reduce 节点的 key-value 的值。其中，将输出到每个 reduce 节点的数据已根据 key 进行了排序。简言之， map 的输出结果先根据 reduce 的节点进行排序，再根据 key 进行排序。
3. reduce 端操作的关键点
下图来自《hadoop the definitive guide》。说明了reduce的三个主要阶段：copy、sort和reduce。
（1）copy阶段：reduce端启动copy的线程，当有map任务完成的时候，即从map服务器节点copy本reduce节点对应的数据；由于reduce节点的数据可能来自多个map节点，既然每个map节点的输出已经根据key排好序了，因此进行merge操作即可实现全局的有序，在copy的同时，同时会针对copy过来的数据进行merge排序操作
（2）sort阶段：虽然copy阶段已经进行了针对copy的数据进行了部分合并，在所有的文件都拷贝完毕后，还需要使用工具类Merger归并所有的文件。经过这一个流程，一个合并了所有所需Map任务输出文件的新文件产生了。
（3）reduce阶段：对sort的结果进行处理输出。
4. 一个关于 shuffle 的误解
其实shuffle并不是什么复杂的东西，shuffle描述的是从map端处理完数据后，reduce端从map端获取数据进行处理的过程，只需要明白map端和reduce分别都怎么处理的，就明白了mapreduce的原理。因此，shuffle可以理解为一个描述性的词语，想想一个map的结果会输出到不同的reduce节点；而一个ruduce节点的数据是来自多个map，这样一个mxn的形式，用线连起来，是不是像洗牌操作？