mapreduce编程(二)- 大象书中求每一年的最高温度 - - 博客频道 - CSDN.NET
1 通过设置了partitioner来进行分区。因为分区是按照年份来进行,所以同年的数据就可以分区到一个reducer中。
2 自定义key比较器,按照年份升序,温度值降序。这样map输出的所有kv对就是按照年份升序,温度值降序排列的。
3 自定义分组比较器,所有同一年的数据属于同一个组,那么在reduce输出的时候,只需要取第一个value就能达到输出一年最高气温的目的。
|
2026 |
2025 |
|
2024 |
2023 |
|
2022 |
2021 |
|
2020 |
2019 |
|
2018 |
2017 五月 (1) |
|
2016 十二月 (2) 十一月 (2) 六月 (1) 四月 (1) 三月 (5) 一月 (1) |
2015 十二月 (4) 十一月 (1) 十月 (3) 九月 (6) 八月 (6) 七月 (11) 六月 (9) 五月 (9) 四月 (5) 三月 (8) 二月 (4) 一月 (15) |
|
2014 十二月 (23) 十一月 (14) 十月 (7) 九月 (17) 八月 (30) 七月 (23) 六月 (18) 五月 (12) 四月 (20) 三月 (14) 二月 (10) 一月 (12) |
2013 十二月 (12) 十一月 (12) 十月 (23) 九月 (14) 八月 (13) 七月 (14) 六月 (15) 五月 (8) 四月 (5) 三月 (17) 二月 (4) 一月 (8) |
|
2012 十二月 (4) 十一月 (2) 十月 (5) 九月 (2) 八月 (1) 七月 (4) 六月 (1) 五月 (3) 四月 (5) 三月 (8) 二月 (4) 一月 (4) |
2011 十二月 (2) 十一月 (2) 十月 (4) 九月 (1) 八月 (4) 六月 (2) 四月 (1) 三月 (9) 二月 (3) 一月 (16) |
|
2010 十二月 (4) 十一月 (6) 十月 (3) 九月 (5) 八月 (7) 七月 (5) 六月 (7) 五月 (4) 四月 (8) 三月 (4) 二月 (4) 一月 (8) |
2009 十二月 (3) 十一月 (2) 十月 (1) 九月 (6) 八月 (3) 七月 (4) 六月 (2) 五月 (11) 四月 (6) 三月 (17) 二月 (6) 一月 (2) |
|
2008 十二月 (13) 十一月 (9) 十月 (5) 九月 (3) 八月 (1) 七月 (8) 六月 (3) 五月 (13) 四月 (2) 三月 (8) 二月 (2) 一月 (6) |
2007 十二月 (7) 十一月 (6) 十月 (5) 九月 (9) 八月 (17) 七月 (6) 六月 (17) 五月 (13) 四月 (16) 三月 (13) 二月 (9) 一月 (18) |
|
2006 十二月 (12) 十一月 (26) 十月 (22) 九月 (2) 七月 (2) 三月 (9) 二月 (1) |
2005 十二月 (21) |

1 通过设置了partitioner来进行分区。因为分区是按照年份来进行,所以同年的数据就可以分区到一个reducer中。
2 自定义key比较器,按照年份升序,温度值降序。这样map输出的所有kv对就是按照年份升序,温度值降序排列的。
3 自定义分组比较器,所有同一年的数据属于同一个组,那么在reduce输出的时候,只需要取第一个value就能达到输出一年最高气温的目的。