来自蘑菇街的开源IM:TeamTalk

标签: 程序开发 IM | 发表时间:2015-12-31 05:31 | 作者:标点符
分享到:
出处:http://www.biaodianfu.com

TeamTalk 是蘑菇街开源的一款企业办公即时通信软件,最初是为自己内部沟通而做的 IM 工具。

项目框架

麻雀虽小五脏俱全,本项目涉及到多个平台、多种语言,简单关系如下图:

teamtalk-1

服务端:

  • CppServer:TTCppServer工程,包括IM消息服务器、http服务器、文件传输服务器、文件存储服务器、登陆服务器
  • Java DB Proxy:TTJavaServer工程,承载着后台消息存储、redis等接口
  • PHP server:TTPhpServer工程,teamtalk后台配置页面

客户端:

  • mac:TTMacClient工程,mac客户端工程
  • iOS:TTIOSClient工程,IOS客户端工程
  • Android:TTAndroidClient工程,android客户端工程�
  • Windows:TTWinClient工程,windows客户端工程

语言:c++、objective-c、java、php

系统环境:Linux、Windows,Mac, iOS, Android

作为整套系统的组成部分之一,TTServer为TeamTalk 客户端提供用户登录,消息转发及存储等基础服务。TTServer主要包含了以下几种服务器:

  • LoginServer (C++): 登录服务器,分配一个负载小的MsgServer给客户端使用
  • MsgServer (C++): 消息服务器,提供客户端大部分信令处理功能,包括私人聊天、群组聊天等
  • RouteServer (C++): 路由服务器,为登录在不同MsgServer的用户提供消息转发功能
  • FileServer (C++): 文件服务器,提供客户端之间得文件传输服务,支持在线以及离线文件传输
  • MsfsServer (C++): 图片存储服务器,提供头像,图片传输中的图片存储服务
  • DBProxy (JAVA): 数据库代理服务器,提供mysql以及redis的访问服务,屏蔽其他服务器与mysql与redis的直接交互

当前支持的功能点:

  • 私人聊天
  • 群组聊天
  • 文件传输
  • 多点登录
  • 组织架构设置.

系统结构图

teamtalk-2

  • login_server:均衡负载服务器,用来通知客户端连接到负载最小的msg_server (1台)。
  • msg_server:客户端连接服务器(N台)。客户端通过msg_server登陆,保持长连接。
  • route_server:消息中转服务器(1台)。
  • DBProxy:数据库服务,操作数据库(N台)。

消息收发流程:

  1. msg_server启动时,msg_server主动建立到login_server和route_server的长连接。
  2. 客户端登陆时,首先通过login_server 获取负载最小的msg_server。连接到msg_server。登陆成功后,msg_server发消息给route_server,route_server记录用户的msg_server。与此同时,msg_server发送消息给login_server,login_server收到后,修改对应msg_server的负载值。
  3. 客户端消息发送到msg_server。msg_server判断接收者是否在本地,是的话,直接转发给目标客户端。否的话,转发给route_server。
  4. route_server接收到msg_server的消息后,获取to_id所在的msg_server,将消息转发给msg_server。msg_server再将消息转发给目标接收者。

数据库操作:

  • 消息记录,获取用户信息等需要操作数据库的,由msg_server发送到db_server。db_server操作完后,发送给msg_server。

参考链接: http://www.bluefoxah.org/

TeamTalk 之 Mac 客户端架构分析

项目结构

在软件架构中,一个项目的目录结构至关重要,它决定了整个项目的架构风格。通过一个规范的项目结构,我们应该能够很清楚的定位相应逻辑存放位置,以及能够没有歧义的在指定目录中进行新代码的撰写。项目结构便是项目的骨架,如果存在畸形和缺陷,项目的整体面貌就会受到很大影响。我们来看看TeamTalk的项目根结构:

teamtalk-3

从整个项目结构图中,我们大致能猜出一些目录中存放的是什么,以下是这些目录的主要意图:

  • html:存放着一些HTML相关文件,用于项目中一些用户界面与HTML进行Hybrid。
  • customView:一些公共的自定义视图,同样与用户界面相关。
  • Services:封装了两个服务,应用更新检测,和用户搜索。
  • HelpLib:一些公共的帮助库。
  • Category:顾名思义,这里存放的都是现有类的Category。
  • Modules:按照功能和业务进行划分的一系列模块。
  • DDLogic:这里面主要存放着一个模块化框架。
  • teamtalk:这里面是和TeamTalk应用级别相关的东西。
  • views:视图,原本应该是存放应用所有视图的地方。
  • Libraries:第三方库。
  • utilities:一些通用的帮助类和组件。
  • 思考与分析

首先,从总体来说,这样的目录结构划分,似乎可以涵盖到整个项目开发的所有场景,但它存在以下几个很明显的问题:

  • 命名不够规范,对于有态度的人来说,看到这样的目录结构,可能首先就会将它们的大小写进行统一,然后单复数进行统一。虽然这可能并不会对最终应用有任何的提升,但我说过,态度决定一切,既然开源了,这样的规范更应该值得注重。
  • 除了大小写之外,DDLogic也是让人非常费解的命名,Logic是什么?它是逻辑?那么似乎整个应用的源码都可以放置到这里了。这里的问题,就跟我们建立了一个h和Common.h一样,包罗万象,但这不应该是我们遵从的。命令体现的是抽象能力,它应该是明确的,模棱两可会导致它在项目的迭代中要么被淘汰,要么膨胀到让人无法忍受。
  • 类别划分有歧义,HelpLib和Utilities,似乎根本就无法去辨别它们之间的区别,这两者应该进行合并。并且Helper类本身就不是很好的设计方式,可以通过Category来尽量减少Helper,无法通过Category扩展的,应该按照类的实际行为进行更好的命名和划分。
  • 含有退化的类别,所谓退化的类别,就是项目初期原本的设定,在后续的迭代重构中渐渐失去作用或者演化为另外的形式。这里的Views和Services是很好的例子,这两个目录存放在根目录下非常鸡肋,既然已经按模块化进行划分,那么Services可以拆分到相应的模块里;Views也是类似,应该拆分到相应模块和CustomView中。
  • 含有臃肿的类别,这一点也是显而易见的,之所以臃肿,是因为里面放了不应该放的东西。这里主要体现在Modules这个目录,我们应该把不属于模块实现的东西提取出来,包括数据存储、系统配置、一些通用组件。这些应该安置到根目录相应分类中,而明显层次化的东西,应该提取到单独库或目录中,比如网络API相关的东西。
  • 没有意义的单独归类,这里体现在Html这个目录,应该和Supporting Files目录中的资源进行合并,统一归类为Resources,然后再按照资源的类别进行细分。

项目结构的划分应该做到有迹可循,也就是说是按照一定的规则进行划分。这里主要的划分依据是逻辑模块化,这样的方式我还是比较赞同的,虽然有很多细节没有处理好,但主线还是很好的。

网络数据处理

在任何需要联网的应用中,网络数据处理都是非常重要的,这点在IM中更是毋庸置疑。IM与很多其它应用相比,更具挑战,它需要处理很多即时消息,并且很多时候需要自己去构建一套通讯机制。

TeamTalk中,主要使用HTTP和TCP进行通讯,我们知道HTTP是基于TCP的更高层协议,而这里的TCP通讯是指用TCP协议发送自定义格式的报文。TeamTalk在HTTP通讯中使用的是RESTful API,并使用JSON格式与服务器进行交换数据;而在TCP这里,主要是通过ProtocolBuffer序列化协议,加上自定义的包头与服务器进行通信。

HTTP 数据处理

HTTP的数据处理,在TeamTalk中显得非常简单,并没有做过多的设计。主要是使用AFNetworking封装了一个HTTP模块:

DDHttpModule.h

typedef void(^SuccessBlock)(NSDictionary *result);
typedef void(^FailureBlock)(StatusEntity* error);

@interface DDHttpModule : DDModule
 
-(void)httpPostWithUri:(NSString *)uri params:(NSDictionary *)params success:(SuccessBlock)success failure:(FailureBlock)failure;
-(void)httpGetWithUri:(NSString *)uri params:(NSDictionary *)params success:(SuccessBlock)success failure:(FailureBlock)failure;

@end

extern DDHttpModule* getDDHttpModule();

这样一个模块会被其它模块进行使用,直接传递uri请求服务器,并解析响应,以下是一个使用场景:

DDHttpServer.m

- (void)loginWithUserName:(NSString*)userName
                 password:(NSString*)password
                  success:(void(^)(id respone))success
                  failure:(void(^)(id error))failure
{
    DDHttpModule* module = getDDHttpModule();
    NSMutableDictionary* dictParams = [NSMutableDictionary dictionary];
    
    ...(省略参数赋值)
    
    [[NSURLCache sharedURLCache] removeAllCachedResponses];
    [module httpPostWithUri:@"user/zlogin/" params:dictParams
                    success:^(NSDictionary *result) { success(result); }
                    failure:^(StatusEntity *error) { failure(error.msg); }
    ];
}

即便是这样的一个封装,在后续的迭代中似乎也慢慢失去了作用,目前大部分所使用到HTTP的代码里,都是直接使用AFNetworking,那么这样的一个封装已经没有存在的必要了。

TCP 数据处理

在TeamTalk里,针对TCP的数据处理略显复杂,因为没有类似AFNetworking这样的类库,所以需要自己封装一套处理机制。大致类图如下:

teamtalk-4

通过这样的一个类图,我们大致可以推断出设计者的抽象思维,他把所有网络操作抽象为API。基于这样思路,这里有三个最核心的类:

  • DDSuperAPI:这个类是对所有Request/Response这种模式网络的请求进行的抽象,所有遵循这种模式的API都需要继承这个类。
  • DDUnrequestSuperAPI:这个和DDSuperAPI相对应,也就是所有非Request/Response模式的网络请求,基本上都是服务端推送过来的消息。
  • DDAPISchedule:API调度器(应该改名为DDAPIScheduler),顾名思义,是用来调度所有注册进来的API,这个类主要做了以下几件事情:
    • 通过DDTcpClientManager接收和发送数据包。
    • 通过seqNo和数据包标识符(ServiceID和CommandID,这里源码中CommandID拼写有误哦),映射Request和Response,并将服务端的响应派发到正确的API中。
    • 管理响应超时,确保每一个Request都会有应答。

基于这样一个设计,我们来看一个基本的登录操作序列图:

teamtalk-5

所有基于请求响应模式的操作,都是与上图类似,而服务端推送过来的消息,也是类似,只是没有了请求的过程。通过我的分析,大家觉得这样的设计怎么样?首先从扩展性的角度考虑,每一个API都相对独立,增加新的API非常容易,所以扩展性还是很不错的;其次从健壮性的角度考虑,每一个API都由调度器管理,调度器可以对API进行一些容错处理,API本身也可以做一些容错处理,这一点也还是可以的;最后从使用者的角度考虑,API对外暴露的接口非常简单,并且对于异步操作使用Block返回,对于组织代码还是非常有用的,所以使用者也觉得良好。

那么,这是一个完美的设计了么?我说过,没有完美的设计,只有符合特定场景的设计。针对这个设计,撇开它一些命名问题,以下是我觉得它不足的地方:

  • 子类膨胀,恰恰是为了更好的扩展性,而带来了这样的问题,由于一个API最多只能处理两个协议包(Request,Response),所以协议众多时,导致API子类泛滥,而所做的基本都是相似事情。TeamTalk这种形式的封装,本质上是采用了Command模式,这个模式在面向对象的设计中本身就充满争议,因为它是封装行为(面向过程的设计),但也有它适用的场景,比如事务回滚、行为组合、并发执行等,但这里似乎都用不到。所以,我觉得TeamTalk这样的设计并不是特别合适,或许使用管道设计会更好点。
  • 调度器职责不单一,为什么说它的职责不单一呢?因为引起它的变化点不止一处,很显然的,发送数据不应该纳入调度器的职责中。另外DDSuperAPI和DDUnrequestSuperAPI全部由这一个调度器来调度,也是有点别扭的,前者响应分发完后必须要从列表中移除,后者又绝对不能被移除,这样鲜明的差异性在设计中是不应该存在的,因为它会导致一些使用上的问题。

总体来说,这样的一个框架还是不错的,因为它的抽象层次不高,很容易去理解和维护,并且完成了大家的预期,这样或许就已经足够了。

本地持久化

本地持久化是个可以有很多设计的地方,但在APP中,进行设计的情况并不是很多,因为APP本身对于持久化的要求没有MIS高,一般只是做些离线缓存,而在IM中,它还负责存储历史消息等结构化数据。TeamTalk对于持久化这块,也没有做什么设计,只是依托于FMDB封装了一个MTDatabaseUtil,这是一个类似于Helper的存在,里面聚集了所有APP会用到的存储方法。毋庸置疑,这样的封装会导致类比较庞大,好在TeamTalk中存储方法并不多,并且使用了Catagory对方法进行了分类,所以总体感觉也还是可以的。另外,从残存的目录结构中可以看出,TeamTalk原本可能是想采用CoreData,但最终放弃了,或许是觉得CoreData整体不够轻量级吧。

MTDatabaseUtil和API一样,都只能算是基础设施(Infrastructure),给高层模块提供支持,高层模块会使用这些基础设施根据业务逻辑进行封装,可以看一个具的代码片段:

MTGroupModule.m

- (void)getOriginEntityWithOriginIDsFromRemoteCompletion:(NSArray*)originIDs completion:(DDGetOriginsInfoCompletion)completion{
    
    ...(省略)
    
    DDGroupInfoAPI *api = [[DDGroupInfoAPI alloc] init];
    [api requestWithObject:param Completion:^(id response, NSError *error) {
        if (!error) {
            NSMutableArray* groupInfos = [response objectForKey:@"groupList"];
            [self addMaintainOriginEntities:groupInfos];
            [[MTDatabaseUtil instance] insertGroups:groupInfos];
            completion(groupInfos,error);
        }else{
            DDLog(@"erro:%@",[error domain]);
        }
    }];
}

理想中,只会在业务模块里依赖持久化操作库,但从TeamTalk总体使用情况中看,并不是这么理想,很多Controller里面直接对MTDatabaseUtil进行了操作,这样就削弱了模块化封装的意义。显然,Controller的职责不应该牵扯到数据持久化,这些都应该放置在相应的业务模块里,统一对外屏蔽这些实现细节。

模块化设计

模块化设计是更高层次的抽象和复用,也是业务不断发展后必然的设计趋势。在进入目前公司的第二周例会上,我便分享了一个亲手设计的模块化框架,这个框架和TeamTalk模块化框架有很多类似之处,好坏暂不做对比,我们先看看TeamTalk中的一个模块化架构。在TeamTalk的DDLogic目录下,隐藏着一个模块化的设计,这也是整个项目中模块设计的基础构件,以下是这个设计的核心类图:

teamtalk-6

  • DDModule:最基础的模块抽象,所有模块的基类,包含自己的生命周期方法,并提供一些模块共有方法。
  • DDTcpModule:拥有TCP通讯能力的模块,监听网络数据,子类化模块可以就此进行业务封装。
  • DDModuleDataManager:按照模块的粒度进行持久化操作,负责持久化和反持久化所有模块。
  • DDModuleManager:管理所有模块,负责调用模块生命周期方法,并对外提供模块获取方法。

整个设计还是很简单明了的,但不知是TeamTalk设计者更换了,还是原设计者变心了,导致这个模块化设计没有起到它预期的作用。具体原因就不细究了,但这样的设计还是值得去推演的,就目前这样的设计而言,也还是缺少了一些东西:

  • DDModule应该通过DDModuleManager注入一些基础设施,比如数据库访问组件、缓存组件、消息组件等。
  • DDModule应该有获取到其它模块的能力,这里面不应该反依赖与DDModuleManager,可以抽象一个ModuleProvider注入到DDModule中。
  • 可通过Objective-C对象的load方法,在模块实现类中直接注册模块到模块管理器里,这样会更加内聚。

虽然我觉得有点缺失,但还是很欣慰的看到了这样的模块化设计,又让我想起一些往事,这种心情,就像遇见了一个和初恋很像的人。

UI相关设计

整个UI设计也没什么特别之处,主要还是采用了xib进行布局,然后连线到相应的Controller中,这里主要的WindowController是DDMainWindowController,它是在登录窗口消失后出现的,也就是DDLoginWindowController所控制的窗口消失后。

值得一提的是,这里将所有的UI都放置到了相应的业务模块中,这也是我比较推崇的做法。一个模块本就应该能够自成一系,它应该有自己的Model,有自己的View,也有自己的Controller,还可以有自己的Service等。这样设计下的模块才会显得更加内聚,其实设计就是这么简单,小到类,大到组件都应该遵循内聚的原则。

其它组件

TeamTalk中还使用了一些个第三方组件,具体罗列如下:

  • CrashReporter:用于崩溃异常收集。
  • Sparkle:用于软件自动更新。
  • Adium:OSX下的一个开源的IM,TeamTalk中使用了其中的一些框架和类。

总结

TeamTalk作为一个敢于开源出来的IM,还是非常值得赞扬的,国内的技术氛围一直提高不起来,大家似乎都在闭门造车。如果多一些像蘑菇街这样的开源行为,应该能够更好的促进圈子里的技术生态。虽然,这篇博文里提出了很多TeamTalk Mac客户端架构的不足之处,但,设计本身就是如此,根本没有最好的设计,而,每个设计者的眼光也不相同,或许我说得都不正确也不见得。

所以,只要有颗敢于尝试设计的心,开放的态度,一切问题都不是问题。

原文地址: http://blog.makeex.com/2015/05/30/the-architecture-of-teamtalk-mac-client/

TT 流程随笔

细节:

  • 如果本地可以自动登录, 先实现本地登录,发送事件通知,再请求登录服务器
  • 如果本地不可以登录(第一次或退出后),直接请求登录服务器
  • 登录服务器返回消息服务器ip port / 文件服务器
  • 链接消息服务器(socketThread 通过netty)
  • 链接成功或失败都发送事件通知 (可能是在loginactivity 处理,也可能在chatfragment处理,你懂滴)
  • 链接失败弹出界面提示
  • 链接成功 请求登录消息服务器(发送用户名 密码 etc)并且同时开启 回掉监听队列计时器(这个稍后再细看吧~)
  • 登录消息服务器成功或失败都通过回掉 (回掉函数存储在packetlistner 中)处理
  • 登录消息服务器失败 发送总线事件,也可能在两个位置处理(loginactvity/chatfragment ,你懂得~)
  • 消息服务器登录成功,并解析返回的登录信息,发送登录成功的事件总线,事件的订阅者分为service 和 activity ,activity 中的事件负责ui的更新处理,service中事件处理,消息的进一步获取 ,与服务器打交道
  • 判断登录的类型(普通登录和本地登录成功后的消息服务器登录)
  • service 收到登录成功(此指在线登录成功,本地登录成功也是一个道理,发送事件更新界面ui和在service中事件触发进一步的消息获取(获取本地库))的事件通知(按登录类型有所不同 ,大体一致)后,做如下工作:
    • 保存本次的登录标示到xml
    • 初始化数据库(创建或获取当前用户所在数据库统一操作接口单例)
    • 请求联系列表
    • 请求群组列表
    • 请求最近会话列表
    • 请求未读消息列表(只是在线登录状态)
    • 重连管理类的相关设置(广播的注册等)

接下来就是对服务端发送消息过来的分析

  • 服务端发送消息过来有回调的采用回掉处理
  • 服务端没有回调的,按照commandid处理

消息的处理都是在相关的管理器类实例内完成

该存库的存库,该更新内存的,更新内存,然后发送事件总线更新ui  或者通知service中的相关订阅者,完成业务逻辑的数据相关处理

相关网址:

相关 [蘑菇 开源 im] 推荐:

来自蘑菇街的开源IM:TeamTalk

- - 标点符
TeamTalk 是蘑菇街开源的一款企业办公即时通信软件,最初是为自己内部沟通而做的 IM 工具. 麻雀虽小五脏俱全,本项目涉及到多个平台、多种语言,简单关系如下图:. CppServer:TTCppServer工程,包括IM消息服务器、http服务器、文件传输服务器、文件存储服务器、登陆服务器. Java DB Proxy:TTJavaServer工程,承载着后台消息存储、redis等接口.

TeamTalk - 蘑菇街开源的一款企业办公即时通信软件

- - SegmentFault 最新的文章
TeamTalk 是蘑菇街开源的一款企业办公即时通信软件,最初是为自己内部沟通而做的 IM 工具. 2013年我们蘑菇街从社区导购华丽转身时尚电商平台,为解决千万妹子和时尚卖家的沟通问题,我们开发了自己的即时通讯软件. 既然已经有了用户使用的IM,为什么我们自己公司内部沟通还要用第三方的呢. 因此就有了TT(TeamTalk)的雏形,现在蘑菇街内部的在线沟通全部通过TT来完成.

Miranda IM v0.9.28 Final 多国语言版

- 阳阳 - 饭堂 - 『新软速递』
Miranda IM是一个多协议的即时通讯客户端软件. 它运行时仅占用极少的内存,并且不需要安装,解压后即可运行. 这使得用户可以从可移动的存储设备上运行他们的即时通讯客户端程序. 如果仅使用少量的插件,它甚至可以被放到一张软盘里. 强大的插件使得Miranda IM拥有极好的可扩展性. 只有基本的功能是内置的,其余的功能需要通过插件来实现.

新浪微博的IM战略

- 董玉伟 - 36氪
7月中旬我们曾独家透露了新版新浪微博的界面,并从新版界面中看到,用户已经有在线和离线的状态显示,同一天,新浪微博正式发布微博桌面,宣布微博支持即时聊天,我们都以为,新浪要开始在 IM 领域再次发力,与腾讯 QQ 竞争. 今天在跟新浪微博开放平台一位产品经理聊天时,他向我们透露说,新浪微博的 IM 并非是为了跟 QQ 抢市场.

三大电信商激战语音IM

- 小熊TONY - cnBeta.COM
在米聊、微信吸引人们眼球的同时,三大电信运营商已经不约而同地将触角伸到了这场语音即时通信(IM)软件的激战中. 昨天,正在进行中的2011年中国国际通信展上,中国移动相关人士称,移动新版的即时通信软件“飞聊”于今天正式对外发布,届时可在飞信官网下载. 据悉,首先发布的是针对安卓、塞班两大平台的产品,苹果iOS版将下个月推出,均为公测版.

手机IM:谁动了谁的奶酪

- 小熊TONY - cnBeta.COM
国内类Kik应用的迅猛发展,给手机IM领域带来新的变数. 微信、米聊、推信、飞聊……国内类Kik应用层出不穷. 号称“短信杀手”的类Kik应用打着“免费、省流量”的旗号,攻城略地,据悉,腾讯微信的用户规模已经达到1500万,而小米科技的米聊也俘获了500万的用户.

蘑菇街推出 C2B 反向团购“蘑菇自由团”

- - 36氪
杭州创业公司、购物分享社区蘑菇街昨天下午5点上线了一个新功能“ 蘑菇自由团”,允许任何用户针对自己喜欢的商品发起反向团购,当参与人数达到一定数量,则此次反向团购发起成功. 蘑菇街告诉我们,从昨天上线以来,截止目前用户共发起15000多起团购,目前已经成团将近100个,意味着参与这100个团购的用户将能够以自己满意的价格购买到自己喜欢的产品.

QQ是IM附带微博功能,”微博桌面”是微博附带IM功能

- 談何容易 - 36氪
有一天我问一朋友,为啥腾讯微博还不出桌面客户端. 他愣了一下,然后我突然想到,腾讯微博为啥要出桌面客户端,它已经集成到了QQ上,QQ是一个IM工具,但现在它附带了微博的功能. 不到一个月前,新浪推出了微博桌面,支持即时聊天,当时大家就说,新浪要开始抢腾讯的饭碗了. 最近,微博桌面进行改版升级,我只能说,它更像 QQ 了.

邪恶的蘑菇家族[8p]

- jason - 煎蛋
艺术家Mike Puncekar 利用马里奥中蘑菇家族为原型,创作了一批邪恶版本的蘑菇家族,当然,他们在游戏中都是坏蛋的角色,所以Mike 将他们画得更加欠揍了. @oioi:这一点让我想起之前COD僵尸版本就非常受欢迎,有人分析说因为普通的COD射杀敌军人类或多或少有负罪感,而将敌军改成僵尸,就觉得这玩意是该死的.

蘑菇街 App 的组件化之路

- - 无网不剩
在组件化之前,蘑菇街 App 的代码都是在一个工程里开发的,在人比较少,业务发展不是很快的时候,这样是比较合适的,能一定程度地保证开发效率. 慢慢地代码量多了起来,开发人员也多了起来,业务发展也快了起来,这时单一工程开发模式就会显露出一些弊端. 耦合比较严重(因为没有明确的约束,「组件」间引用的现象会比较多).