给托管服务商和网站管理员的一些建议

标签: Uncategorized | 发表时间:2011-12-31 16:04 | 作者:flychen
出处:http://flychen.com

发表者:Pierre Far,网站管理员趋势分析专员
原文: Tips for hosting providers and webmasters
转载自: 谷歌中文网站管理员博客
发布时间:2011年12月29日 下午 02:22:00

一些网站管理员在论坛上咨询影响他们站点托管的问题,为帮助托管服务商和站长们识别、诊断以及解决这些问题,我们与您分享一些常见的问题及解决方法。

• 拦截Googlebot 抓取功能。这是一个非常普遍的问题,通常因防火墙配置错误或DoS保护系统所致,有时也因站点运行的内容管理系统所致。保护系统是形成好的托管服务的重要组成部分,通过配置来拦截异常的服务器频繁的请求,但有时也可自动完成。然而Googlebot通常会执行比个人用户更多的请求,所以这些保护系统也会决定拦截Googlebot,并阻止其抓取您的网站。如需查验此类问题,您可以使用网站管理员工具中的 Googlebot抓取方式功能,并查看网站管理员工具显示的其它 抓取错误

我们向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的网站管理员和托管服务商提供了几个工具:

o 我们就如何使用 拒绝googlebot协议配置 URL 参数来控制“Googlebot抓取方式”功能提供了详细的帮助。
o 如果您担心使用Googlebot的代理程序,我们提供了一个方法来 验证该抓取工具是否为Googlebot
o 如果您想改变Googlebot抓取您的站点的频率,您可在网站管理员工具中验证您的网站,并且 改变Googlebot的抓取速度。托管服务商也可验证他们IP地址的所有权。

更多信息请查询 抓取和索引FAQ

• 可用性问题。我们常见的另一类问题是当Googlebot (及用户)试图访问站点时,网站无法浏览。这通常是由DNS问题、服务器过载引起的超时和拒绝链接问题、错误的内容分发网络配置(CDNs)、以及很多其它类型的错误造成的。当Googlebot遇到这些问题时,我们将之视为 网址无法访问错误抓取错误并在网站管理员工具中报告该错误。

• 无效SSL证书。要想SSL证书对您的网站生效,必须将它们与站点名称相匹配。常见问题包括过期的SSL证书,以及因服务器上所有网站使用同一个证书而导致的服务器错误配置。在这些情况下,大部分浏览器会试图警告用户,Google则通过网站管理员工具发送一条信息来警告网站管理员。要解决这些问题,就要确保您所使用的SSL证书对所有网站的域名以及您用户访问的子域名都有效。

• 通配符DNS。网站可通过配置来响应所有子域名的请求。例如,example.com的网站可以通过配置用来响应来自foo.example.com,made-up-name.example.com以及所有其它子域名的请求。

在某些情况下,这是网站管理员所希望发生的,例如一个用户生成内容的网站可自行选择给予每个账户各自的子域名。但在某些情况下,网站管理员可能不希望发生这种行为,因为这也许会引起不同的主机名将内容进行不必要的复制,还可能影响Googlebot抓取功能。

若想尽量减少通配符DNS设置中的出现的各种问题,您可以将您的网站设置成不使用它们,或者将您的服务器设置成对不存在的主机名不能成功响应,亦或拒绝连接或直接返回HTTP 404 页面。

• 虚拟主机错误配置。这种问题的特征是同一个服务器上托管的多主机和/或域名总是只返回一个站点的内容。换言之,尽管服务器托管多个站点,但它不管请求内容是什么却只返回一个站点。要诊断此问题,您需要验证服务器是否正确地响应了HTTP 主页面。

• 通过特定的URL托管复制内容。很多主机基于测试/开发的目的,为您的网站提供URL。例如,如果您在托管网站example.com上托管http://a.com/,托管提供商可能会提供如 http://a.example.com/ 或 http://example.com/~a/这样的URL地址来作为您网站的入口。我们建议不要将这些特定的URL托管设置成可被公开访问的状态(通过密码保护它们);即便这些URL可被访问,我们的算法通常选择网站管理员所想要的URL地址。如果我们的算法 选择特定的URL托管,您可通过正确执行 规范化技术来对我们的算法做出改动,从而选择您首选的URL。

• 软错误页面。某些托管服务商用HTTP 200状态码(表示“成功”)而不是HTTP错误状态码来显示错误页面。例如,一个出现“页面无法访问”字样的错误页面可能会返回HTTP 200而不是404,从而造成 软404页面;一条“网站暂时无法访问”信息返回的可能是HTTP 200,而不是正确地返回503HTTP状态码。我们努力检测软错误页面,但当我们的算法无法检测出主机软错误页面时,这些页面的错误内容可能被列入索引,导致分级或 跨域选择网址的问题。

检测返回的状态码很简单:只需采用任一一种工具,如Googlebot抓取方式,查看服务器返回的HTTP页面。如果一个错误页面返回的是HTTP 200,那么我们可以改变配置使其返回正确的HTTP错误状态码。同样,请留意网站管理员工具软404报告中有关抓取错误页面的诊断方法。

• 内容修改和框架(frames)。网站管理员可能惊讶于看到页面内容被托管服务商修改,尤其是在页面插入脚本或图片。除此之外,主机还可能通过使用frames或iframe将内容嵌入其它页面来托管内容。如果想查看主机是否以您意料之外的方式修改您的内容,只需查看主机托管页面的源代码,并将其与您上传的代码进行比较。

请注意某些服务器端代码的修改可能非常有用。例如,一个使用Google Apache 加速模块或其它工具的服务器可能会压缩代码来优化页面载入速度。

• 垃圾信息和恶意软件。我们经常看见有部分主机和大量子域名服务成为恶意软件和垃圾邮件的主要来源,鉴于此,我们进行一些细微的操作来保护用户和提高搜索质量,但如果我们发现特定的主机上绝大部分站点发送垃圾信息或传播恶意软件时,我们就不得不对整个主机采取行动。为帮您控制恶意软件,我们提供:
o 适用于托管服务商的 网络管理员安全浏览警报
o 适用于个人网站的管理员工具的 恶意软件通知
o 适用于开发人员的 安全浏览API

我们希望以上几点能帮助托管服务商和网站管理员诊断和解决这些问题。除此之外,我们还在质量方面也有所思考,如服务的质量以及支持的有用性。如果您有问题或需要更多帮助,请咨询我们 网站管理员帮助论坛

from Google 黑板报 – Google (谷歌)中国的博客网志,走近我们的产品、技术和文化 http://googlechinablog.blogspot.com/2011/12/blog-post_31.html


您可能也喜欢:

扫盲贴——网站分析简介

SNS网站推广之— 如何提高群发邮件的打开率和点击率

大型网站架构系列之一,前言,不得不考虑的问题

外刊IT评论:给年轻程序员的建议
来自无觅网络的相关文章:

国内的服务,怎么就这么不省心?! (@citydog)

黑暗组合PSD网站模板素材下载 (@ycy8)

[电子书]高性能网站建设: Web开发者性能优化最佳实践 (@storageonline)

[电子书]网站优化(速度与SOE) (@storageonline)
无觅

相关 [服务 网站 管理员] 推荐:

给托管服务商和网站管理员的一些建议

- - 搜索引擎技术博客
发表者:Pierre Far,网站管理员趋势分析专员. 原文: Tips for hosting providers and webmasters. 转载自: 谷歌中文网站管理员博客. 发布时间:2011年12月29日 下午 02:22:00. 一些网站管理员在论坛上咨询影响他们站点托管的问题,为帮助托管服务商和站长们识别、诊断以及解决这些问题,我们与您分享一些常见的问题及解决方法.

Bing网站管理员中心更新:外链查询工具、SEO分析报告工具等

- - 搜索引擎周边
Bing网站管理员中心近日进行了较大的更新,除了采用更加简洁、直观、易用的新用户界面,本次也上线了多个非常有用的站长工具,或对部分站长工具进行了更新和升级. 1、可查询查询外链的工具:链接资源管理器 (Link Explorer ). 在 雅虎的搜索业务被并入到微软后,雅虎搜索就鲜有亮点了,很多服务关的关,停的停,而一直为众站长和SEOer喜爱的 雅虎反向链接查询工具也于去年被关闭,自那以后SEO界再无免费好用的反向链接查询工具.

Webluker:为中小网站提供轻量级CDN 加速服务

- 午夜瞎想 - 36氪
对于任何网站来说,访问速度都是一个非常重要的参数. 如果你的网站加载了很久还是没有打开,那么一部分“不耐心”的用户就可能会离去了. 除了通过提升服务器性能之外,使用CDN 其实是一个提升网站访问速度的便捷方式. 不过对于中小网站来说,类似ChinaCache 的大型CDN 使用起来门槛非常的高,有没有一个轻量级容易使用的CDN 服务呢.

杨建:网站加速--服务器编写篇(上)

- cgeek - Berkeley DB - 杨建的BLOG
Nginx是我见过的Web Server中性能比较高的一个,他几乎是和我的server同时诞生,可能还更早些,框架很不错,我觉得目前版本稍微优化下,支持10w connections不成问题. lighttpd也不错,我对他的认识还是停留在几年前的性能测试上,它的性能会比nginx逊色一些. 他们都支持epoll,sendfile,可以起多个进程worker,worker内部使用非阻塞,这是比较优良的I/O的模型.

百度推出网站分享按钮嵌入服务

- 〄 淘 氣 - cnBeta.COM
这是一个提供网页地址收藏、分享及发送的WEB2.0按钮工具,网站的浏览者可以分享到人人网、开心网、QQ空间、新浪微博等. 网站主可以获得JS代码,嵌入到自己的网站. 国内此前有JiaThis、bShare等同类服务. 百度写道:“通过百度分享按钮,您网站上的网页将更容易被百度搜索引擎所发现,从而有机会从百度搜索带回更多的流量.

WordPress为22%美国新激活网站数提供服务

- 建军 - cnBeta.COM
北京时间8月20日凌晨消息,博客软件WordPress今天宣布,在全球排名前100万的网站中,有14.7%的网站由WordPress程序搭建,同 比增长6.2%. 在美国,每100个新激活的域名中,就有22个运行WordPress,这些数据包括WordPress.com和 WordPress.org.

让网站飞起来02--服务器缓存技术

- Bloger - 博客园-首页原创精华区
第一个介绍的是《让网站飞起来01---浏览器缓存技术》. 介绍服务器,肯定要先支持服务器在网站架构中的位置和作用,然后在介绍几种常见的服务器缓存配置. 对服务器在网站中位置作用有个大概了解:lamp架构图. 上图主要介绍了三种服务器,也是比较常用的服务器,下面就介绍这三种服务器的缓存配置. apache是作为正向代理服务器缓存,nginx和squid主要作为反向代理服务器缓存..

Windows平台网站图片服务器架构的演进

- - 博客园_知识库
  构建在Windows平台之上的网站,往往会被业内众多架构师认为很“保守”. 很大部分原因,是由于微软技术体系的封闭和部分技术人员的短视造成的. 由于长期缺乏开源支持,所以只能“闭门造车”,这样很容易形成思维局限性和短板. 就拿图片服务器为例子,如果前期没有容量规划和可扩展的设计,那么随着图片文件的不断增多和访问量的上升,由于在性能、容错/容灾、扩展性等方面的设计不足,后续将会给开发、运维工作带来很多问题,严重时甚至会影响到网站业务正常运作和互联网公司的发展(这绝不是在危言耸听).

在线状态服务在网站系统中的应用

- - idea's blog
我的前一篇博客文章” 谈谈Facebook的聊天系统架构“, 对Facebook的聊天系统架构进行了分析. 其中的有些思想和系统划分, 对即使不是做聊天系统, 如一般的网站系统, 也是很有借鉴意义的. 例如其中的在线状态服务器(Presence).. 在线状态服务, 是这样的一个服务, 它维护了网站当前的在线用户列表, 接受其它模块的查询.

适合个人网站的云服务组合

- - gq's blog
回想起来我折腾博客和各类网站已将近 10 年光阴,在维护 0xFFFF 的几年来,也尝试过各类不同的建站方案. 当前用到的各类服务,综合速度和成本而言,感觉可能的选择方向差不多已经成型,可以做一个总结. 若你也想低成本搭建属于自己的网站,且想拥有不俗的访问速度,这里的方案也许可以是你的一个参考.