蚂蚁变大象:浅谈常规网站是如何从小变大的(四)

标签: 蚂蚁 大象 网站 | 发表时间:2012-05-01 20:34 | 作者:zgwangbo
出处:http://blog.csdn.net

【 前一段时间写了关于架构的总结,一共十篇,放在新浪博客上 : http://blog.sina.com.cn/zgwangbo001 ,今天放到csdn上】


        【第八阶段 : WebServer多机化】

 

        上面说了这么多,我们的业务都基本上运转在只有一个WebServer的条件下。如果出现宕机,所有服务就停掉了;如果压力大了,单机不能承载了,怎么办?

        说到这个话题,我们需要来回顾一下在大学时学习的关于网络的基本知识。^_^

        抛开复杂的网络,我们简化我们的模型。我们的电脑通过光纤直接连入互联网。当我们在浏览器地址栏里面输入http://www.XXX.com时,到我们的浏览器展现出页面为止,中间出现了怎么样的数据变化?(注意:为了不那么麻烦,我简化了很多东西,比如:NAT、CDN、数据包切片、TCP超时重传等等)

 

        上面的图我们应该比较熟悉,同时也应该比较清晰的表达了我们简化后,从输入网址到页面展现的一个过程。中间有两个东西我们比较关注,也是解决我们WebServer多机化的关键。

        1、DNS服务是否能帮我们解决多机化?

        2、www.XXX.com服务器的WebServer如何多机化?

        

        首先,如果DNS解析能够根据我们的请求来区分,对于同一域名,将不同的用户请求,绑定到不同的ip上,这样,我们就(友情提示:word统计此处已经达到10000字)能部署多个WebServer,对应不同的ip,剩下的无非就是多申请几个ip地址而已。

        当我们网站比较小的时候,我们都是在代理商处购买域名并由代理商的服务域名解析服务器帮我们做域名解析。但是,对于许多大型的网站,都需要对类似于www.XXX.com、blog.XXX.com、img.XXX.com等在XXX.com根下的所有服务的进行域名解析,这样便于对服务进行控制和管理。而域名的解析往往有专门的策略来处理,比如根据IP地域、根据不同请求IP的运营商等返回不同的服务器IP地址。(大家可能以前也有过这样的经验:在不同的地方,ping几个大的网站,看到的ip是不一样的)。

        DNS策略分析和处理服务是对请求IP进行分析和判断的系统,判断请求来自哪个地域、哪个运营商,然后根据内部的一些库的判断,决定应该返回哪个WebServer的IP。这样,就能尽量保证用户以最快的速度访问到对应的服务。

        但是,如果我们有大量的WebServer,那每个Server都要有一个IP,另外,我们要增加一个新机器,又要申请一个IP地址,好像很麻烦,且不可接受。怎么办呢?

 

        第二点,我们需要考虑对于服务器的WebServer的多机化方式。

        我们为什么要WebServer多机化?原因就是因为单机的处理性能不行了,我们要提升处理能力。

        那WebServer要做哪些事情?Hold住大量用户请求连接;根据URL将请求分流到不同逻辑处理的服务器上;有可能还有一些防攻击策略等。其实这些都是消耗CPU的。

        如果我们在WebServer前端增加一层,什么逻辑都不处理,就是利用一定的负载均衡策略将数据包转发给WebServer(比如:工作在IP层,而非TCP层)。那这一层的处理能力跟WebServer比是否是要强悍很多?!这样的话,这一层后面就可以挂载很多的WebServer,而无需增加外网IP。我们暂且叫这一层叫VS(Virtual Server)。这一层服务要求稳定性较高,且处理逻辑要极为简单,同时最好工作在网络模型中较低的层次上。

        这样的话,我们就只需要几个这样的VS服务器组,就可以组建大量的WebServer集群。当一个群组出现问题,直接可以通过改变IP绑定,就可以切换到其他服务器组上。

        现在这样的VS实现有多种。有靠硬件方式实现的,也有靠软件方式实现的。硬件方式实现的话,成本较高,但稳定性和效率较好。软件方式实现的,则成本较低,但稳定性和效率较硬件方式要低一些。

        现在用的比较多的有开源的LVS(Linux Virtual Server),是由我国的一个博士写的,NB!以及根据LVS改写后的一些变种。

        另外还有F5Networks公司出的收费的F5-BIG-IP-GTM等。(注:这个确实没用过,以前在网上看过,写到此处记不清,在百度上搜的。如有错误,敬请雅正)。

        

        好了,通过上述的方式,我们基本实现了WebServer的多机化。

        (这里虽然只有短短的1千多字,但是这个问题实际困扰过我很长的时间。因为不像搭建简单的web服务那么简单,我很难实际的配置和操作DNS Server。所以这个问题的解答,其实花了我较多时间去查资料和思考。到目前为止,还没有实际操作过,完全是空想。希望不会误导大家。哈哈)



作者:zgwangbo 发表于2012-5-1 20:34:46 原文链接
阅读:8 评论:0 查看评论

相关 [蚂蚁 大象 网站] 推荐:

蚂蚁变大象:浅谈常规网站是如何从小变大的(四)

- - CSDN博客推荐文章
【 前一段时间写了关于架构的总结,一共十篇,放在新浪博客上 : http://blog.sina.com.cn/zgwangbo001 ,今天放到csdn上】.         【第八阶段 : WebServer多机化】.         上面说了这么多,我们的业务都基本上运转在只有一个WebServer的条件下.

蚂蚁变大象:浅谈常规网站是如何从小变大的(三)

- - CSDN博客推荐文章
【 前一段时间写了关于架构的总结,一共十篇,放在新浪博客上 :. http://blog.sina.com.cn/zgwangbo001 ,今天放到csdn上】. ―――――――――――――继续技术的分割线 ―――――――――――――.         【第七阶段 : 拆分】.         到上面一个阶段,我们初步接触到了逻辑、存储等的多机模式.

蚂蚁变大象:浅谈常规网站是如何从小变大的(二)

- - CSDN博客推荐文章
【 前一段时间写了关于架构的总结,一共十篇,放在新浪博客上 : http://blog.sina.com.cn/zgwangbo001 ,今天放到csdn上】.        【第四阶段 : 第一次服务多机化】        当IO性能得到解决以后,我们可能就会面临CPU瓶颈,即程序处理不过来了.

蚂蚁变大象:浅谈常规网站是如何从小变大的(一)

- - CSDN博客推荐文章
【 前一段时间写了关于架构的总结,一共十篇,放在新浪博客上 :. http://blog.sina.com.cn/zgwangbo001 ,今天放到csdn上】.          话说今天是清明节假期第一天,早上早早的和朋友开车逃离了帝都.          言归正传,计划了很久写这篇文章,不过心里还是比较忐忑,担心自己在技术上的深度和沉淀还是不够.

蚂蚁会变色?多亏透明腹部

- Clover - 果壳网 guokr.com - 果壳网
大自然中存在着很多可以变色的生物,天上飞的地上爬的都有. 但是你是否发现过从你脚下路过的蚂蚁也会变色呢. 最近,53岁的印度科学家默罕默德·巴度(Mohamed Babu)博士在他家附近发现了一些可以变色的蚂蚁,而它们变色的原因,竟然是它们的食物. 这些变色蚂蚁最初是巴度博士的夫人发现的. 巴度夫人不小心洒出了一些牛奶,许多饥饿的蚂蚁闻风而来.

穿越遐想――-从二维蚂蚁到N维宇宙

- Phineux - cnBeta.COM
蚂蚁在平展的白纸上木然地爬行着,在它们的视野中,世界如此宽阔平坦,一望无边. 世界只有前后左右,没有上下的概念. 这些可怜的生命,由于它们生理结构的局限,永远地被宿命在一个只有XY轴而没有Z轴的平面世界里. 在这个荒凉的平面世界里,时时刻刻发生着出人意料的事情. 人注视着蚂蚁的每一个行为,正如上帝注视着人的世界.

Seata 在蚂蚁国际银行业务的落地实践

- - 掘金 架构
文|李乔(花名:南桥)、李宗杰(花名:白鹰). 李乔:蚂蚁集团高级开发工程师,负责蚂蚁境外银行支付结算系统开发. 李宗杰:蚂蚁集团技术专家,负责蚂蚁分布式事务中间件研发. 本文 11580 字 阅读 25 分钟. 蚂蚁国际境外银行业务正在部分迁移至阿里云,原内部使用的 SOFA 技术栈无法在阿里云上得到支持.

分析:借蚂蚁以一儆百 中国对监管指向清晰

- - 《联合早报》-中港台-即时
中国金融监管部门再次约谈蚂蚁集团后,指这家互联网金融巨头存在“违规监管套利”等四大问题,要求集团“回归支付本源”,从五方面整顿改造. 分析认为,政府对互联网平台的监管指向日渐清晰,并通过向蚂蚁开刀以一儆百,让互联网金融业者为加速整改做好准备. 中国人民银行、银保监会、证监会和外汇局26日联合约谈蚂蚁集团,中国人民银行副行长潘功胜今天代表四部门对外介绍情况时指出,蚂蚁存在的四大问题:包括公司治理机制不健全;法律意识淡漠,藐视监管合规要求,存在违规监管套利行为;利用市场优势地位排斥同业经营者;损害消费者合法权益,引发消费者投诉等.

新发现:一种真菌可以“精神控制”蚂蚁使其成为僵尸

- weinan - 牛博山寨 编辑推荐
科学家在巴西热带雨林新发现一种名为Ophiocordyceps camponoti-balzani的真菌从“僵尸蚂蚁”头部长出来. 这种真菌原来被认为是单一物种,名为Ophiocordyceps unilateralis,实际上它有四个不同的种——它们全都可以对蚂蚁进行“精神控制”——科学家在周三宣布.

人工智能让你失业不是玩笑,蚂蚁金服已经让一个职业心慌了

- - 爱范儿
在人工智能停留在 PPT 的阶段,车主发生交通事故后,需要打电话给保险公司,然后保险公司会派查勘员现场查勘并拍照. 后续保险公司定损员会根据照片评估损伤情况如何,是否需要赔偿,以及赔偿多少. 在传统的理赔流程中,保险公司收到事故照片后,需要核赔,核价,往往最快需要半小时后才能确定理赔金额. 人工智能出现后,事情可能会简单很多.