<< Hadoop 中的两表join | Alex的个人Blog | 首页 | MapReduce里面的二次排序、组排序和Partitioner - FacingTheSunCN的专栏 - 博客频道 - CSDN.NET >>

mapreduce编程(二)- 大象书中求每一年的最高温度 - - 博客频道 - CSDN.NET

1 通过设置了partitioner来进行分区。因为分区是按照年份来进行,所以同年的数据就可以分区到一个reducer中。

2 自定义key比较器,按照年份升序,温度值降序。这样map输出的所有kv对就是按照年份升序,温度值降序排列的。

3 自定义分组比较器,所有同一年的数据属于同一个组,那么在reduce输出的时候,只需要取第一个value就能达到输出一年最高气温的目的。 

阅读全文……

标签 : , ,



发表评论 发送引用通报