缺少了 Twitter 实时搜索的 Google 确实是伤不起

标签: 故事/传闻 Bing Google Fail Google Search Real Time Search | 发表时间:2011-07-08 02:26 | 作者:musiXboy 珣子
出处:http://www.guao.hk

Google+发布第二天,Google实时搜索突然不见让人感到很诧异,尽管Google开始说他们是想办法把Google+也整合进去,但那用不着整个关闭实时搜索吧?后来才真相大白,是因为Google与Twitter的合作协议到期,所以Google无法获得实时Twitter接口“firehose”才无法继续提供实时搜索了。

尽管我们可以暂时用Bing的Bing Social Search 来暂时应急,但Bing只有通过“firehose”获得的最新的tweets,但没有tweets存档功能,就是说你只能搜索到最新的tweets,几天前的tweets就搜索不到了,这也相当要命。微软也表示他们没计划去做Google实时搜索做的Twitter存档搜索。

尽管现在的Google也可以搜索Twitter信息,但实时性已经残废了。比如你搜索过去24小时里的谷奥tweets,会发现只能找到18小时前的一条tweet(如上图),而且还是索引不到标题的,而谷奥在过去24小时里发了至少11条tweets。这样的twitter搜索毫无意义。

SEL就此事做了深入挖掘,他们先是问到Google负责搜索产品的Amit Singhal,他表示没有了firehose接口的Google确实无法像以前那样快速的抓取到tweets了,不仅如此,连tweets的存档都不会比以前多。因为如果Google真的是自己疯狂的排出蜘蛛去抓取twitter.com以前的所有历史记录,会直接把Twitter网站搞瘫痪,他们只能“彬彬有礼”的去尽可能快的抓取尽可能多的Twitter信息。

Amit Singha也确认了无法续签合同是Twitter方面的问题,他们不想续签了。而由于Google的实时搜索几乎来源全部来自Twitter,如果没了Twitter,那么几乎搜索不到东西了,于是干脆就把实时搜索关了。

到底为什么?

那么Twitter到底是意欲何为?要知道当初Google和微软的协议是跟Twitter同时签署的,为什么微软就成功续约而Google就不行呢?微软方面的说法是:

我们不会透露协议细节,但我们很高兴签署了一份长期协议,长到足以带给那些使用Bing的用户足够多的好处。

SEL从一个信息源得到的消息,据说来自多位创业搜索公司CEO的说法是,Google确实是想跟Twitter续约,2年合作,每年3500万美元或者一次性就支付7000万美元。这点钱对Google不是什么大数目,但考虑到这笔钱只是付给一家公司只是为了获得一个授权,还是不少了。要知道第一年他们就实时搜索合作的时候,Twitter从Google那里获得了1500万美元,从微软那里获得了1000万美元,这对Twitter来说可是一“大笔钱”。

但续约未果也可能不是钱的问题,另外一个消息源说,微软对于跟Twitter的关系感到很不爽,因为他们看不到给Twitter那么多钱能得到什么价值,而且Twitter还会把自己的实时搜索接口免费赠予一些创业搜索公司。微软甚至可能会随时丢掉Twitter搜索,并将授权得到的信息再次授权给第三方使用。

这就是目前所知的所有信息了,希望SEL能挖到点新料,解开我们心中的谜团。

最后,推荐一个搜索Tweets存档的小搜索引擎Topsy,Google当初只能搜索到2010年2月的所有tweets,而Topsy甚至可以搜索到2008年5月之老的tweets呢。

Via SEL


© musiXboy 发表于 谷奥——探寻谷歌的奥秘 ( http://www.guao.hk ), 2011. | 6 条评论 | 永久链接 | 关于谷奥 | 投稿/爆料
Post tags: , , , , ,

相关 [twitter 实时 搜索] 推荐:

Twitter实时搜索系统EarlyBird

- - CSDN博客互联网推荐文章
twitter对存档的tweet使用lucene做全量索引,新发的推文则是实时索引,实时检索(10秒之内索引). 实时索引和检索系统叫EarlyBird. 感觉写得比较清楚简洁,只要这些信息足够真实可信,完全可以做实现参考. 1)基于lucene + java,michael busch是lucene committer.

缺少了 Twitter 实时搜索的 Google 确实是伤不起

- 珣子 - 谷奥——探寻谷歌的奥秘
Google+发布第二天,Google实时搜索突然不见让人感到很诧异,尽管Google开始说他们是想办法把Google+也整合进去,但那用不着整个关闭实时搜索吧. 后来才真相大白,是因为Google与Twitter的合作协议到期,所以Google无法获得实时Twitter接口“firehose”才无法继续提供实时搜索了.

谷奥: 阴谋论胜利,果然是 Twitter 不再允许 Google 实时搜索的索引

- nkce - 谷奥聚合——谷奥主站+谷安 aggregator
在《Google做那事关闭Realtime实时搜索》的帖子最后,我阴谋论的猜测可能是Twitter在Google+上线之后反目成仇不允许Google索引他们了,结果被我不幸言中. Google刚刚给SEL发来了最新的解释说是因为合约到期了:. 2009年10月,Twitter与我们签署协议允许我们利用特殊的接口获取最新的tweets,该协议在7月2日到期,所以我们无法再利用特殊的接口从获取Twitter信息,但Twitter里的公开信息还是可以通过我们的爬虫索引,并在Google.com搜索到.

Twitter的搜索服务快了3倍!

- nAODI - 黑客志
坊间传闻, 在2010年的春季, Twitter的搜索服务团队在越来越大的流量压力下, 同时也为了搜索功能的增强, 放弃了原来MySQL+Ruby的方案,采用了Lucene+Blender的解决方案. 最近得到的结果是喜人的, 目前Twitter的搜索服务速度提高了3倍, 同时也为未来的继续增强打下了良好的技术基础,原文在这里:http://engineering.twitter.com/2011/04/twitter-search-is-now-3x-faster_1656.html.

Twitter实时同步Google Buzz的方法

- Gene - 月光博客
  Google Buzz和FriendFeed一样支持导入Twitter的信息,不过Buzz和FriendFeed不同的是,它对于Twitter的同步是单向的,你可以看到别人的Twitter,却无法回复到Twitter中,另一个重要的问题是延时,Twitter同步信息到Buzz的延时非常严重,和Friendfeed的实时性同步形成鲜明对比.

Twitter的实时通知架构

- -
Twitter工程经理Sarrabh Pathak在伦敦QCon 2017大会上介绍了Twitter网站的通知系统架构. 他主要介绍了Twitter所面临的独特挑战,比如社交网络的双峰(bimodal)性、如何应付尖刺流量以及如何实现实时的通知机制. Pathak解释说,与一般的社交网络不同,Twitter的用户数据具有不对称性.

Twitter 发布官方图片分享及新搜索服务

- ifyousee - 爱范儿 · Beats of Bits
6 月1日,Twitter 官方博客发布了两则重要信息:官方图片分享功能以及新的搜索服务. 和 PhotoBucket 合作的图片上传功能. 以往要在 Twitter 上分享图片需要先把图片上传到其他空间,然后进行转载. 虽然很多客户端整合了这个功能,但比起国内用户使用的 新浪微博 来说,官方支持要方便的多.

三个技巧,活用 Twitter 搜索的高级功能

- 邮筒 - 爱范儿 · Beats of Bits
Twitter 是信息的洪流,世界的脉搏. 大家都关注 Twitter 上“现在发生了什么”,可惜在协议到期后, Google 的实时搜索服务终止了对 Twitter 的支持. 那么,就好好挖掘 Twitter 自己的搜索功能吧,下面几个技巧会帮助你. 1.在搜索结果中去掉链接:“xxx -filter:links”.

Google 和 Twitter 的搜索协议还是谈不拢

- 安得米 - 谷奥——探寻谷歌的奥秘
今年7月Google被迫关闭Google Real Time Search,因为是Twitter不再允许Google利用特殊的API来获得最新Twitter信息的索引. 昨天举办的Web 2.0大会上,Twitter的CEO Dick Costolo对无法跟Google续签搜索合作协议发表评论说:.