"Java在淘宝AD系统中的应用"分享汇总
- - ITeye博客条幅AD
搜索AD
定向AD. 高性能Web服务器
关系数据库,内存KV数据库, NoSQL (BigTable)
搜索引擎
排序算法(Ranking)
实时计算
海量日志收集和处理(MapReduce, 报表和结算)
RPC,消息中间件
客户端技术:浏览器,Javascript. 多个子系统都采用Java实现:.
AD系统的演进:
条幅AD 搜索AD 定向AD
AD系统需要的技术:
高性能Web服务器 关系数据库,内存KV数据库, NoSQL (BigTable) 搜索引擎 排序算法(Ranking) 实时计算 海量日志收集和处理(MapReduce, 报表和结算) RPC,消息中间件 客户端技术:浏览器,Javascript
多个子系统都采用Java实现:
直通车AD主系统 后台CRM系统,审核系统 数据同步系统 操作日志系统 消息通知系统 报表系统
开源Java框架和工具:
Spring, Struts 2, iBatis, JSP, Lucene, Maven …
RPC框架:
淘宝HSF
数据存储:
目前使用Oracle数据库存储,计划迁移到Mysql 用户信息集中在一台主库,用户宝贝,关键词等数据分区到三台分库
消息通知引擎:
从数据库同步更新信息到AD引擎 每天消息量为千万级,高峰每秒2000条 可靠性 批量消息支持 事务支持 消息队列存储选择 Mysql Redis HBase
更多详情参见附件