谷奥: 专门的 Googlebot-News 爬虫跟 Googlebot 合并

标签: googlebot news 爬虫 | 发表时间:2011-08-27 04:23 | 作者:(author unknown) Lionheart
出处:http://rss.guao.cc/aggregator

Google宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容,新闻爬虫将被Googlebot网页爬虫所代替,至此Google就只有这一种爬虫了。

如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引,你不必做任何改变,Google还是会像以前那样抓取你的内容。只不过在你查看服务器日志的时候,不会再看到Googlebot-News爬虫的身影了,取而代之的是统一的Googlebot爬虫。

如果你依然不想让Google News收录你的网站新闻,那么还是可以在robots.txt里使用Disallow标签来告诉Googlebot-News爬虫而不必手动改成Googlebot爬虫,因为Google会明白你的意思。

其实这样改的好处在于你只需要写同一个语句,即可同时阻止Google网页爬虫和新闻爬虫的索引,不必为每个爬虫单独设置规定了。

Via SEL


© musiXboy 发表于 谷奥——探寻谷歌的奥秘 ( http://www.guao.hk ), 2011. | 1 条评论 | 永久链接 | 关于谷奥 | 投稿/爆料
Post tags: , , ,

相关 [googlebot news 爬虫] 推荐:

谷奥: 专门的 Googlebot-News 爬虫跟 Googlebot 合并

- Lionheart - 谷奥聚合——谷奥主站+谷安 aggregator
Google宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容,新闻爬虫将被Googlebot网页爬虫所代替,至此Google就只有这一种爬虫了. 如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引,你不必做任何改变,Google还是会像以前那样抓取你的内容.

通过“Googlebot 抓取方式”向Google提交URL

- rokey - Google 黑板报 - Google (谷歌)中国的博客网志,走近我们的产品、技术和文化
发表者:Jonathan Simon和 Susan Moskwa,网站站长趋势分析师. 原文:Submit URLs to Google with Fetch as Googlebot. 转载自:谷歌中文网站站长博客. 发布时间:2011年8月11日 下午 06:46:00. 现在,网站站长工具中的“Googlebot 抓取方式”功能提供了一种向Google提交全新的URL以及更新URL的收录方法.

单独的 Google News Archive 搜索下线

- 猫 - 谷奥——探寻谷歌的奥秘
Google已经在今年5月宣布关闭老报纸扫描计划,但当时他们说的好好的,只是不再继续扫描老报纸了,之前已经扫描的报纸还会在,且可通过Google News Archive Search搜索并阅读(如上图). 但是今天大家却发现,Google News Archive Search已经进不去了,Google会直接给你重定向到Google News的高级搜索页面里.

◇News特報『我們的白衣天使~♥』

- MDJ - 模物語
腐貓:唉呀…就別計較這麼多了嘛~. 少女A:雪集愛穿的款式也在裡面唷. 答對者可以獲得少女A的OO唷♥. 本篇文章歡迎轉貼,但請備註來源連結為模物語. 若喜愛本文內容就按個讚或推Or留個意見嘿.

Hacker News的热门排名算法

- - 互联网实践
Hacker News 是一家关于计算机黑客和创业公司的社会化新闻网站,由 Paul Graham 的创业孵化器 Y Combinator 创建. 与其它社会化新闻网站不同的是 Hacker News 没有踩或反对一条提交新闻的选项(不过评论还是可以被有足够 Karma 的用户投反对票,或是投支持票);只可以赞或是完全不投票.

Hacker News 排名算法工作原理

- - python.cn(jobs, news)
这篇文章我要向大家介绍 Hacker News网站的文章排名算法工作原理,以及如何在自己的应用里使用这种算法. 这个算法非常的简单,但却在突出热门文章和遴选新文章上表现的异常优秀. 深入 news.arc 程序代码. Hacker News是用Arc语言开发的,这是一种Lisp方言,由Y Combinator投资公司创始人 Paul Graham创造.

网络爬虫

- - 四火的唠叨
文章系本人原创,转载请保持完整性并注明出自 《四火的唠叨》. 最近在写一个程序,去爬热门事件和热门关键词网站上的数据. 网络爬虫也叫做网络蜘蛛,是一种互联网机器人,把需要的网页撷取下来,组织成适当格式存储. 它是搜索引擎的重要组成部分,虽然从技术实现上来说,它的难度往往要小于对于得到的网页信息的处理.

★News速報 『K-ON!劇場版目的地為倫敦!』

- qugougou - 模物語
(穿這樣還是堅持要吃冰淇淋的唯超可愛呀~~). 在第二期動畫第27回中為了辦理出國護照而搞的焦頭爛額的五人,這次在官網最新公佈的訊息中透露了真正的目的地. 的粉絲們現在就可以開始上網看看倫敦的相關旅遊情報囉,這樣劇場板上映的時候會看起來更有感覺唷~. 而公佈消息的來源跟聖誕之吻二期製作決定一樣來自於今天舉辦的TBS動畫祭2011,而訊息中也透露了去的成員只有HTT,所以小憂及小和出場的戲份應該會激減...

Google Squared 和 Google News Timeline 等实验室项目确定下课

- applelen - 谷奥——探寻谷歌的奥秘
Google还在忍痛割爱地挑选哪个Google Labs项目可以留下,而谁会下课. 今天又确定有4个实验项目下课:. Google Squared于2009年6月发布,以表格形式提供系统而规矩的搜索结果. 后来其技术也直接集成进Google搜索,比如你如果问Lady Gaga的生日的话,不必看问答网站或维基百科,Google直接就告诉你了(上图).

★模物語News :『動漫日報』2011年10月18日

- qugougou - 模物語
由日本著名作詞家秋元康擔任製作人的AKB48,其名稱來自於東京秋葉原(AKIBA),在2005年出道後至今唱片銷量已經突800萬張,5年內提高了33倍的作品銷量,這種瘋狂的勢頭也讓日本音樂作品銷量出現了5年來第一次的回升. 但這團體所使用的許多商業手法,也曾讓眾多網友們感到不滿. 而在這個什麼都能動畫的時代,用日本ACGN聖地秋葉原取名的AKB48,當然也不落人後的在今天正式宣布要推出自己的TV動畫了,並預定於2012年春番放送.