谷奥: 专门的 Googlebot-News 爬虫跟 Googlebot 合并
- Lionheart - 谷奥聚合——谷奥主站+谷安 aggregatorGoogle宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容,新闻爬虫将被Googlebot网页爬虫所代替,至此Google就只有这一种爬虫了. 如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引,你不必做任何改变,Google还是会像以前那样抓取你的内容.
Google宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容,新闻爬虫将被Googlebot网页爬虫所代替,至此Google就只有这一种爬虫了。
如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引,你不必做任何改变,Google还是会像以前那样抓取你的内容。只不过在你查看服务器日志的时候,不会再看到Googlebot-News爬虫的身影了,取而代之的是统一的Googlebot爬虫。
如果你依然不想让Google News收录你的网站新闻,那么还是可以在robots.txt里使用Disallow标签来告诉Googlebot-News爬虫而不必手动改成Googlebot爬虫,因为Google会明白你的意思。
其实这样改的好处在于你只需要写同一个语句,即可同时阻止Google网页爬虫和新闻爬虫的索引,不必为每个爬虫单独设置规定了。
Via SEL
© musiXboy 发表于 谷奥——探寻谷歌的奥秘 ( http://www.guao.hk ), 2011. |
1 条评论 |
永久链接 |
关于谷奥 |
投稿/爆料
Post tags: Google News, Google Search, Googlebot, robots.txt