Twitter即将开源即时数据处理工具Storm

标签: 工具 快报 Storm Twitter | 发表时间:2011-08-05 15:46 | 作者:pestwave Andy
出处:http://www.36kr.com


开发者的好消息:Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码。这个类似于Hadoop的即时数据处理工具是BackType开发的,后来被Twitter收购用于Twitter。

Twitter列举了Storm的三大类应用:

  • 信息流处理{Stream processing}: Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。
  • 连续计算{Continuous computation}: Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。
  • 分布式远程程序调用{Distributed RPC}: Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。

目前即时数据处理工具已经不少了,比如HStreaming(使用Hadoop),开源的S4StreamBase,人们还需要一个开源的Storm吗?

除非注明,本站文章均为原创或编译,转载请注明: 文章来自36氪
新浪微博 腾讯微博 QQ空间 人人 九点 开心 网易微博 腾讯朋友 搜狐微博 Facebook Twitter LinkedIn email

相关 [twitter 开源 数据] 推荐:

Twitter即将开源即时数据处理工具Storm

- Andy - 36氪
开发者的好消息:Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码. 这个类似于Hadoop的即时数据处理工具是BackType开发的,后来被Twitter收购用于Twitter. Twitter列举了Storm的三大类应用:. 信息流处理{Stream processing}: Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性.

Twemproxy – Twitter 开源的 Redis proxy

- - NoSQLFan
在去年的QCon London2012 大会上,Twitter 发表了题为 《 Timelines @ Twitter》的演讲,里面提到以 Redis作为其timeline的主要存储,目前目测全球范围内,Twitter可能是Redis的最大用户了(或者是新浪微博. 而今天我们要说的这个 Twemproxy,是 Twitter 开源出来的 Redis 和 Memcached 代理.

Twitter 开源其 MySQL 优化成果

- - 博客 - 伯乐在线
据  Twitter 工程博客透露, Twitter 决定开源其使用的、经过优化的 MySQL 版本. Twitter 工程师 Jeremy Cole 和 Davi Arnaut 在博客中称:. MySQL 是 Twitter 大部分数据(如兴趣图谱、时间轴、用户数据和推文等)的主要存储技术. 由于我们的规模,我们比其他公司更能推动 MySQL 的发展.

Twitter背后的开源技术

- - 酷勤网-挖经验 [expanded by feedex.net]
如果没有开源软件,Twitter将不会存在. 你发送和接收的每一个Tweet在移动端和PC端发送的过程中,都会需要开源软件. 好奇Twitter使用了多少开源软件. 除此之外,我们想要知道开源对Twitter公司的文化产生了什么影响. 我们采访了Twitter公司主管开源的ManagerChris Aniszczyk,来和我们大家分享Twitter的开源故事.

Twitter开源Whisper Systems所有软件

- - 雷锋网
据国外媒体报道, Twitter日前在其官方博客上宣布,将逐步开放 Whisper Systems所有软件源代码. 其中,TextSecure的源码现已可在 Github网站上看到. Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案.

Twitter收购数据分析公司BackType

- zou guangxian - 36氪
Twitter刚刚宣布已经收购BackType,一家帮助公司和品牌衡量社交媒体影响力的数据分析公司. BackType在博客上宣布这一消息时称团队将集中精力为Twitter发布商合作伙伴开发工具. 总部位于旧金山的BackType是一家由YC孵化的创业公司,自2008年以来已获得130万美元投资. 作为交易的一部分,BackType将停止BackTweets(帮助内容发布商了解推讯是如何转化为网站流量和销售额)的新用户注册.

Twitter数据挖掘及其可视化

- - 细语呢喃
前阵子有学弟学妹问我毕设做的啥,于是我决定记录一下去年毕设的内容. 主要是基于twitter的内容有:. Twitter数据挖掘平台的设计与实现. 毕设从16年3月开始做,做到5月初,开始写论文,当时写的论文一共有七章,写了一个礼拜,从早到晚- -| 共24834字. ,数据有的从15年11月左右开始抓的.

[分享创造] 开源一个类微博 twitter 的网站

- - V2EX
网址: https://sserr.net. 代码: https://github.com/coyove/iis. 之前的发布: https://v2ex.com/t/628871. 时隔一个多月,当初的 todo 基本上都清掉了,代码也重构到了开源出去也不会太丢人的程度 XD. 总的来说这是一个类微博的系统,提供了大部分你所熟知的微博功能.

Twitter的海量数据实时系统实现

- vento - NoSQLFan
作为世界上最大的微博客网站,Twitter也有着世界上最大的数据压力,在七月份的一份数据显示,Twitter的日发送量已经突破2亿条,其日独立访问用户早在5月份就达到1.39亿. 下面是Twitter在Qcon London的一个演讲PPT,描述了Twitter最重要的四块实时数据(Tweets,Timelines,Social graphs,实时搜索)的存储实现及架构变迁.