上一篇博文对Hadoop的作业调度器进行了介绍，我们知道，JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分，前者负责map/reduce作业的调度与分派，后者负责map/reduce作业的实际执行，它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析，至于JobTracker和TaskTracker中与作业调度无关的源码部分，并未进行详细介绍。

1.     JobTracker部分

1.1 JobTracker

JobTracker是作业调度的控制类，实现了InterTrackerProtocol和TaskTrackerManager接口（当然，还有其他接口，这里我们只关心调度相关的接口），维护一个TaskScheduler的实例，并托管其生命周期。

在JobTracker的主方法中，首先，构造JobTracker实例对象，在此过程中，TaskScheduler实例会伴随JobTracker一起被构造，另外，通过RPC，构造RPC服务器interTrackerServer；当完成JobTracker的构造后，接着给JobTracker的TaskScheduler类型变量taskScheduler设置TaskTrackerManager实例字段为当前的JobTracker实例。然后，调用JobTracker的offerService方法开始提供服务。

JobTracker.heartbeat方法主要是TaskTracker端远程调用时用到的方法，其主要作用就是分派具体任务（将Task封装成LaunchTaskAction），并将封装后的Task分发到TaskTracker端。

1.2 TaskScheduler

      TaskScheduler是作业调度器的抽象基类，实现了Configurable接口，具体的实现有JobQueueTaskScheduler和LimitTasksPerJobTaskScheduler。

      在TaskScheduler中，通过维护Configuration和TaskTrackerManager成员变量，实现对作业队列中所有Job的调度过程，具体见assignTasks方法。

1.3 JobQueueTaskScheduler

      JobQueueTaskScheduler继承于TaskScheduler，为Hadoop中的默认调度器，实现FIFO调度队列，作业队列按优先级和提交时间进行排序。

1.4 LimitTasksPerJobTaskScheduler

      LimitTasksPerJobTaskScheduler继承于JobQueueTaskScheduler，在JobQueueTaskScheduler基础上，可以对每个Job的Task总数作限制。

1.5 TaskTrackerManager

      TaskTrackerManager接口用于管理运行中的Cluster的所有TaskTracker信息，它被JobTracker实现，同时供TaskScheduler调度使用。

1.6 InterTrackerProtocol

      InterTrackerProtocol接口是JobTracker和TaskTracker之间通信的协议接口， JobTracker作为RPC调用的Server端，实现InterTrackerProtocol接口，供TaskTracker远程调用。

1.7 Configurable

      Configurable接口用于配置Configuration对象。

2.     TaskTracker部分

2.1 TaskTracker

Task的执行实际是由TaskTracker发起的，TaskTracker会定期（缺省为3秒钟，参见MRConstants类中定义的HEARTBEAT_INTERVAL变量）与JobTracker进行一次通信，报告自己Task的执行状态，接收JobTracker的指令等，TaskTracker里面会通过循环的方式查找。

2.2 TaskTrackerStatus

      TaskTrackerStatus是TaskTracker的状态类，记录了TaskTracker的资源使用情况。

2.3 HeartbeatResponse

      HeartbeatResponse是心跳回复信息类，记录了经TaskTracker发出的心跳，由JobTracker处理后产生的回复信息。

2.4 TaskTrackerAction

TaskTrackerAction记录TaskTracker的action，它有四个子类，分别是KillJobAction、KillTaskAction、LaunchTaskAction和CommitTaskAction。

2.5 TaskTracker$TaskInProgress

TaskInProgress是TaskTracker的内部类，它主要负责对每个执行中的Task任务的监控和具体调度。

2.6 TaskTracker$TaskLauncher

TaskLauncher是个继承于Thread的TaskTracker的内部类，在这里面会维护一个TaskInProgress的链表：

private List<TaskInProgress> tasksToLaunch;

该列表中的每个TaskInProgress 实例对应一个TaskUnit任务。

该类的run方法才是主体关键之处，它会循环判断是否tasksToLaunch中有新任务要做，有就从该列表中拿出来，然后去调用TaskTracker.startNewTask(TaskInprogress)去开启一个新任务。

2.7 Task

Task为抽象类，代表任务，它有两个子类：MapTask 和 ReduceTask。

2.8 TaskRunner

      TaskRunner为Task的执行类，它有两个子类：MapTaskRunner和ReduceTaskRunner。

3.     RPC过程

3.1 RPC.getServer()

       RPC服务端接口。为指定协议的实例，在指定的地址和端口上启动服务。

3.2 RPC.waitForProxy()

       RPC客户端接口，创建一个指定服务端的代理。

作者: 大圆那些事 发表于 2011-09-04 16:33 原文链接

评论: 0　查看评论　发表评论

最新新闻：
· 大学生开设斗鸡网店月入数千元(2011-09-05 08:35)
· 史玉柱发起首个网游下乡计划 亿元拓荒农村市场(2011-09-05 08:34)
· 对赌协议多家企业均失败：四问题困扰协议企业(2011-09-05 08:31)
· 国外多家大型网站遭受黑客攻击 DNS解析记录被篡改(2011-09-05 08:29)
· Best Buy或于10月21日开售iPhone 5(2011-09-05 08:25)

编辑推荐：JavaScript 设计模式

网站导航：博客园首页  我的园子  新闻  闪存  小组  博问  知识库