CDN技术的发展历程
酷勤网 � 程序员的那点事!
在互联网上,悄然生长出一张时刻为人们服务的网络,它像一位隐形的快递员,将各种各样的内容交付给用户,这就是内容分发网络(CDN,Content Distribute Network)。
CDN的基本概念和产生背景
Content Distribute Network,直译成内容分发网络,或者也有人写成Content Delivery Network,内容交付网络。
大家常说的互联网,是广义的互联网,由两层组成:一层是以TCP/IP为代表的网络层(也是狭义互联网概念);另一层是以万维网WWW为代表的应用层。目前普遍存在一个认识误区,就是将互联网和万维网混作一谈。认清互联网的本质,辨识清楚互联网和万维网的区别,是理解整个互联网经济的关键和基础,也是认识CDN的基础。
以TCP/IP为核心的狭义的互联网(Internet),实际上是广义互联网的下层,是网络基础,更一般地说就是TCP/IP网络。这一层的主要作用是通过计算机之间的互联,将各种信息的数据报文以极低的成本进行传输,俗称“管道”,所有信息和内容在这个管道里进行传送。互联网的设计理念是:网络是中立和无控制的,任何人都没有决定权;网络是应用无关的,它的任务就是如何更好地将数据包进行端到端传输。这个设计理念从互联网诞生之初到现在从未被撼动,任何针对某种(类型的)内容对互联网进行优化的尝试其最后效果都不甚理想。因此,我们可以认为互联网不会试图对任何内容进行传输优化。
以万维网WWW为代表的应用层,是广义互联网的上层。这一层包括很多种类型的流量和应用,邮件、软件、在线影视、游戏、电子商务、移动应用等,所有SP(Service Provider,服务提供商)提供的都是这些用户看得见、摸得着的应用,它们丰富和方便了人们的生活,构成了我们常说的互联网业务和信息经济。
CDN发展历史
CDN 是为互联网上的应用服务的,它伴随着互联网的发展而逐步成长,其发展过程中的高峰低谷、起起落落与整个互联网的发展轨迹基本保持一致,图1-4是CDN的历史发展曲线,我们借此来回顾一下CDN的发展历史。
图1 CDN发展历史
第一阶段:CDN缘起
1991年之后的近十年间,公众主要以拨号方式接入互联网,带宽低而且网民数量少,此时主要的瓶颈在最后一公里——用户接入带宽,而没有给提供内容的服务器和骨干传输网络带来太大的压力。随着互联技术的发展和网民数量的增加,给内容源服务器和传输骨干网络带来越来越大的压力,互联网瓶颈从接入段逐渐向骨干传输网络和服务器端转移。
1995年,麻省理工学院教授,互联网发明者之一Tim Berners-Lee发起的一项技术挑战造就了后来鼎鼎大名的CDN服务公司Akamai。Berners-Lee博士预见到在不久的将来网络拥塞将成为互联网发展的最大障碍,于是他提出一个学术难题,要发明一种全新的、从根本上解决问题的方法来实现互联网内容的无拥塞分发,这项学术难题最终催生出一种革新性的互联网服务——CDN。当时Berners-Lee博士隔壁是Tom Leighton教授的办公室,一位麻省理工学院应用数学教授,他被Berners-Lee的挑战激起了兴趣。Leighton博士意识到应用数学和运算学可以解决网络拥塞的问题,于是他请研究生Danny C. Lewin和其他几位顶级研究人员一起破解这个技术难题。随后另外几位计算机科学和数据网络方面的科学家也加入Leighton博士的队伍中来,他们开发了数学运算法则来处理内容的动态路由计算,并开始实施自己的商业计划,最终成立Akamai公司。这些世界级的科学家开发出一套突破性的运算法则,用于在网络服务器所组成的大型网络中智能组织路由和复制内容。
Akamai公司通过智能化的互联网分发,结束了“World Wide Wait”(世界一起等待)的尴尬局面。公司1999年开始提供商业服务,并宣布世界上网络流量最大的互联网公司雅虎成为自己的合同客户。
Akamai是全球第一家CDN网络运营商,从诞生之日起,就一直是全世界顶级的CDN服务商和CDN服务的领跑者。Akamai的成功表明互联网内容分发业务有着巨大的市场前景。
第二阶段:CDN第一次发展浪潮
1999年到2001年是全球互联网发展的高潮期,HTTP网页内容的加速需求非常大,CDN成为产业关注的热点。2001年,Limelight Networks公司在美国亚利桑那州成立,是除Akamai之外最主要的CDN公司,自高盛将1.2亿美元投入Limelight后,全球CDN 的发展呈现出风起云涌之势。Akamai和Limelight分别代表了“节点租用”和“节点自建”两种发展模式,引领了全球CDN行业的技术潮流。在这一时期,除了如Akamai、Limelight、Level3等这样独立、专业的CDN服务提供商,大型的IDC企业看到CDN巨大的市场前景也纷纷转型,加入这一行业。IDC企业的加入进一步推动了CDN行业的发展,与传统的独立CDN公司形成对峙之势。比如国外著名的IDC——Digital Island通过其遍布全美国的、数量众多的数据中心,建立了其自己的CDN网络,将CDN服务作为一种增值服务向它的数据中心的客户提供。
在中国,互联网的高速发展同样始于20世纪90年代末。以新浪、搜狐、网易三大门户为代表,众多资本、科技人才投入其中,网站和互联网服务如雨后春笋般蓬勃生长,启动了国内第一次互联网发展高潮。互联网内容的丰富和功能的拓展吸引了越来越多的用户,网上冲浪成为当时最时髦的娱乐形式。网民数量的剧增给网络带来巨大的压力,导致网络服务质量和用户体验下降,同时限制了流媒体等新业务的发展。在这样的背景下,中国的CDN产业应运而生。1998年,国内第一家专业CDN服务公司——蓝汛(ChinaCache)公司成立,2000年蓝汛获得了信息产业部颁发的第一个CDN试运行许可证,正式成为我国第一家专业CDN服务提供商。2000年10月初,网宿公司成立。2001年10月,新浪成为我国第一个CDN服务商业用户,中国的CDN商用市场初具规模。
第三阶段:互联网泡沫的冲击和CDN第二次大发展
2001年,第一次互联网泡沫破碎,大量.com公司倒闭,网站关闭。CDN客户一夜之间骤减,一息尚存的网站也缩减成本开支,CDN产业几乎立刻进入了停滞期。彼时CDN服务商鼻祖Akamai公司也难逃此劫,加上该公司的创始人之一、早期发明者之一的Daniel C.Lewin在2001年“9·11”恐怖袭击中不幸遇难,更为CDN行业的发展雪上加霜。
虽然互联网泡沫破裂对整个行业产生了巨大的冲击,但互联网复兴的种子已播下,第一次泡沫期间大量投资建设的基础设施,为日后产业的再次发展奠定了良好的物质基础。
从2002年开始,DSL等宽带技术在全球逐渐普及,用户接入带宽提高到Mb级别,为网络流媒体服务提供了基础条件。从2004年起,伴随着互联网的回暖和发展,流媒体服务的发展和Web 2.0的兴起对CDN提出了新的技术要求,CDN的需求开始回升并持续增加,CDN又变得热门起来。
首先,传统HTTP和下载使网络数据量飞速上升,网络游戏产业逐渐成熟,特别是网络视频等需要高带宽的内容,对服务器和网络带宽的压力更大,对CDN服务需求迫切。其次,网站的内容类型不断增加和丰富,在新的需求下,流媒体、Flash、视频和下载等网站内容及业务成了新的主要应用对象。为了给软件下载、视频流媒体、企业Web应用、B2B交易和Web 2.0互动等各种服务加速,传统的CDN技术之上又增加了压缩、流量整形、智能路由和网络优化等技术。第三,随着CDN能够提供加速的内容类型不断丰富,其提供的服务也已从单纯的内容加速拓展到应用和服务的加速。Akamai公司营销主管Kieran Taylor曾感慨地说:“‘内容分发网络’这个词确实有些过时了,我们的设想是为所有在线业务加速。”
除了带来新的技术要求和业务需求外,Web 2.0和流媒体的发展将互联网的发展推向了新的高峰,互联网逐步形成了清晰稳定的赢利模式,生存力的增强使得互联网公司变得更加健康和稳定,为CDN服务生成了真正的市场和稳定的客户群。
总而言之,市场需求的急速膨胀与CDN 自身的发展,包括技术的成熟、设备价格的下降等因素,共同引发了CDN 的新一轮发展热潮。CDN技术自诞生时的第一次爆发式发展之后,又迎来一段难得的发展盛世。在我国从2006年开始,随着网络视频应用的普及,CDN 进入快速发展时期,到2009年底,中国CDN市场营业收入已达到5.01亿元人民币。
与此同时,CDN市场的风险投资交易金额逐年走高,2008年CDN市场的风险资本交易金额更是达到了创纪录的3.25亿美元。蓝汛公司从2004年启动融资开始,英特尔投资、集富亚洲、InvEStor、启明创投、Ignition、Starr International、SIG这7家基金都先后成为蓝汛的投资人,前后三轮融资共引进5000万美元。包括2005年获得的第一笔来自于集富亚洲、英特尔投资等的850万美元风险投资;2007年获集富亚洲、英特尔投资和启明创投等参与的第二轮3150万美元的投资;2009年9月,蓝汛再获英特尔投资及其他风险投资公司超过1000万美元的投资。2007年5月,网宿科技获得首轮融资,总额为4000万元人民币。
2009年10月30 日,上海网宿科技股份有限公司作为首批 创业板28 家上市公司之一,正式登陆深交所创业板上市。2010年10月1日(美国当地时间),蓝汛通信(NasdaqGM: CCIH)成功登陆纳斯达克交易市场。两家国内CDN服务领先者的成功上市,是国内CDN产业发展的重要里程碑,也标志着资本市场和公众对CDN产业的认可。
2010年开始的云计算风潮对CDN也产生了不小的影响。一方面,很多云计算平台在对外提供服务时不可避免地会用到CDN的分发能力。另一方面,CDN的技术特点使得它本身就很像一种云服务,很多CDN服务商也正在积极尝试各种云计算技术在CDN系统中的应用。云计算究竟会对CDN产生什么样的影响?我们拭目以待。但可以肯定的是,这将是一种良性的促进,也许将推动CDN技术和业务发展进入一个新的阶段。
本文节选自《CDN技术详解》一书,雷葆华、孙颖、王峰、陈晓益、蔡永顺、王志军 ,由电子工业出版社出版。
[ comments ]