Twitter的海量数据实时系统实现
- vento - NoSQLFan作为世界上最大的微博客网站,Twitter也有着世界上最大的数据压力,在七月份的一份数据显示,Twitter的日发送量已经突破2亿条,其日独立访问用户早在5月份就达到1.39亿. 下面是Twitter在Qcon London的一个演讲PPT,描述了Twitter最重要的四块实时数据(Tweets,Timelines,Social graphs,实时搜索)的存储实现及架构变迁.
作为世界上最大的微博客网站,Twitter也有着世界上最大的数据压力,在七月份的一份数据显示,Twitter的日发送量已经突破2亿条,其日独立访问用户早在5月份就达到1.39亿。
下面是Twitter在Qcon London的一个演讲PPT,描述了Twitter最重要的四块实时数据(Tweets,Timelines,Social graphs,实时搜索)的存储实现及架构变迁。在文中可能你会惊叹像Twitter这么大的公司,在其最初也就是用的一些非常土鳖的技术。
演讲视频:www.infoq.com
相关文章: | ||||
用Solr和Hadoop搭建大规模数据下的实时搜索服务 |
foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB) |
twitter发布开源存储框架Gizzard |
论文:Hadoop在Facebook的实时应用 |
快速构建实时抓取集群 |
无觅 |