内容分发网络:网络新应用与IP网络间的桥梁

来源:用户上传      作者: 尹 浩

　　Internet作为一个主要的信息交流平台,已成为人们日常生活中不可缺少的一部分。Internet服务的内容也从当初的以静态网页、小图片为主转变到现在的以大文件、视频为主,并进一步朝交互式信息共享、协同工作等方向发展,如视频共享和社交网络(Social Networking Sites,SNS)等。计算机和通信技术的发展将使得用户可以使用各类便携设备、智能电器等终端通过多种接入技术连接到Internet,获得服务。新的互联网应用对网络基础设施和网络服务提出了新的要求,归纳起来有如下几点。
　　1.高可扩展性:截止到2009年9月30日,Internet用户数达到17.3亿,并且继续保持快速增长的趋势。同时,接入到Internet的设备种类及其数量也在同步增加。因此,互联网需要以高效和高性价比的方式来处理和服务各类应用。
　　2.大容量:当前,Internet应用的一个显著特点就是用户更倾向于共享内容,而且,这些内容更趋向于富媒体化(如大文件、音频、视频、以及高清视频等等)。这些变化趋势要求Internet能提供大容量来存储数据和实现节点间的通信。
　　3.高服务质量(QoS)保证:多媒体应用和新型的SNS应用需要高QoS保证,服务质量的任何下降,都会严重影响到用户的体验,从而造成用户的流失和服务提供商利润损失。
　　4.强交互性:当前,社交网络等应用已成为Internet的主流应用,用户不再局限于被动的接受服务,而倾向于相互交流信息或提供内容。服务的模式也不仅仅只有传统的C/S模式,终端用户之间的信息交流也成为了目前主流的服务模式,这要求网络能提供更强的交互性。
　　5.异构性:近年来,三网融合和移动通信技术的发展,使得越来越多的终端设备可以通过异构网络接入到Internet。因此,需要提供跨异构网络和终端设备的透明服务来满足上述需求。
　　6.安全性:不同网络应用对Internet提出了不同等级的安全要求,如机密性、完整性和一致性等,如何有效地应对这些安全需求,也是目前网络技术所需要解决的难题。
　　另一方面,现有Internet的基础架构是基于包交换的IP网络,IP网络采用端到端的设计原则,网络对服务不加区分,单纯实现数据包的存储转发,复杂的功能由网络边缘来处理。虽然这种设计思想使得IP网络具有可扩展性强和实现简单的优势,但是,单纯的依靠现有IP网络的基础设施与技术体系难以满足新应用的需要。
　　为了解决传统的尽力而为(Best-effort)IP网络与应用需求之间的矛盾,内容分发网络(Content Delivery Networks,CDN)被提出。根据RFC 3466的定义,CDN通过在传统IP网络上部署由服务器组成的服务节点,并利用应用层协议将这些服务节点联结构成应用层覆盖网络,为用户提供内容分发服务。这种架构一方面由于在应用层解决网络应用的需要,不改变底层网络结构与骨干设备的配置,因而具有较强的灵活性和可扩展性;另一方面,终端用户从最适合的服务节点获取内容,提高了用户的体验,同时也降低了骨干网络的拥塞。因而自1998年MIT的研究人员提出并组建第一个商用CDN网络开始,经过了数十年的发展,CDN已经发展成为Internet产业链中不可或缺的重要一环。
　　著名的CDN公司有Akamai、Limelight、CDN Networks、Verisign和ChinaCache等,非盈利性CDN网络有CoDeeN、Coral和Globule等。众多的CDN网络及其服务已形成了一个巨大的市场,据统计,2009年全球的CDN市场规模达到15亿美元,是1999年时的60倍。自2005年多媒体应用成为网络主流应用后,CDN也进入了高速发展期。
　　至今,CDN伴随着市场的变化,其服务内容也从最初的静态内容,发展到后来的视频内容,以及近来的动态内容和电子商务类的服务。为了适应这些内容的分发需求,CDN结构也发生了几次重要的变化,经历了分布式CDN、大数据中心CDN、P2P辅助CDN,并朝着云计算模式的CDN方向发展。
　　
　　CDN技术组成
　　
　　一般来说,CDN服务通常由以下4个部分组成:内容外发单元,负责将内容从源服务器分发到边服务器;内容分发单元,负责将内容从边服务器分发到终端用户;请求路由单元,负责将终端用户的请求引导到合适的边服务器;管理单元,负责配置和监控请求路由、内容外发和内容分发等单元。
　　从技术角度来看,CDN技术的组成可以被划分成基础架构和网络服务两类。
　　CDN基础架构的核心任务是如何构造合理有效的覆盖网络,为内容提供商提供有效的内容分发任务,主要包括服务资源部署、服务节点架构和CDN构网等三部分关键技术。通过这些关键技术,解决如下问题:CDN网络规模的确定即CDN服务节点数目的确定、服务节点部署位置的确定、每个服务节点规模及其与运营商互联模式的确定、每个服务节点内的设备组织与资源管理机制及如何高效地组织这些服务节点等。
　　服务资源部署通常考虑服务质量(性能)和成本两类指标,选择合适的网络位置放置服务资源,一方面尽量减少大部分终端用户获取内容时的响应时间,另一方面又有效地控制资源部署和管理成本,找到较佳的平衡点。对于服务节点架构,通常选用多种评价指标来对节点体系结构的整体性能进行评估和分析,并以这些指标为指导设计服务节点的架构。如:二分带宽(Bisection Bandwidth)和超额订购(Oversubscription),其中,二分带宽是衡量服务节点内部网络通信效率的指标,而超额订购则是服务节点对外服务性能的一种衡量指标。CDN构网是指构建CDN网络的方法,即通过通信协议将分布在Internet不同位置的服务节点组织起来,从而构成一个内容分发网络,实现CDN对内容分发的硬件基础,它包括网络法和覆盖法两种基本构建方法。其中,网络法在构建CDN网络时需要对路由器和交换机进行特殊的配置和管理,使它们能够识别特殊的应用,并在预先确定的策略下进行内容转发;而覆盖法则在传统Internet架构基础上通过覆盖一层新的应用协议,通过该应用协议将所有数据中心组织起来,实现内容分发任务。与网络法不同,该方法不需改变Internet的骨干设备,具有很好的灵活性,是当前大多数CDN服务提供商采用的一种构网方式。
　　CDN网络服务部分主要实现服务内容在CDN网络中的有效管理和分发服务,主要包括请求路由、内容分发与管理、系统管理等三部分关键技术。其中,请求路由技术主要负责将终端用户请求引导到合适的边服务器,目前,主流的CDN服务商多采用了DNS解析重定向的方式实现请求路由;内容分发与管理包括内容外发、内容分发和内容管理等技术,主要实现内容从源到终端用户的传输及其内容调度管理;系统管理通常由运营支撑系统(OSS)和业务支撑系统(BSS)组成,实现系统资源的配置、运行状况的监控、计费等功能。
　　
　　CDN演变
　　
　　CDN架构的发展一共经历了四个阶段:1.分布式CDN;2.大节点CDN;3.P2P辅助CDN;4.云计算模式CDN。其中,前两种架构已在各种商业应用中取得了很大成功,P2P辅助CDN目前尚处于发展阶段,还有许多问题亟待解决,同时,云计算模式CDN又为CDN提供商提供了一种新的商业运行模式。

　　分布式CDN
　　分布式CDN产生于上世纪90年代,当时Internet流量主要是由一些静态文本和图片文件构成,这些文件的数据量都比较小,为实现高效的内容分发,以Akamai为代表的CDN服务提供商通过高度分布式的服务器部署方式来构建CDN。他们将服务节点部署在运营商的PoP中,这样可以将用户请求的内容分配到离用户最近的服务节点上。然后采用基于DNS的请求路由机制,使用户从最近的服务节点上获取信息。
　　分布式CDN能够很好地实现Internet中静态内容的分发,解决“最后一公里”的问题,但需要在整个网络范围内部署大量服务器。以Akamai为例,截至2008年,该公司在65个国家一共部署了27000台服务器,其中仅DNS服务器就有6000台。这种大规模的分布式计算模式在改善服务质量的同时,也给管理和维护工作带来了很大挑战,而且对于动态多媒体内容的分发也存在一定局限性。
　　高速网辅助CDN
　　20世纪初,各种多媒体内容(如音频、视频等)开始占用Internet的主要带宽,高速网辅助CDN就是在此时发展起来的。高速网辅助CDN可解决大数据量的多媒体内容的高效分发,以LimeLight为代表的CDN提供商采用了这一设计模式。与分布式CDN不同,这种模式只需在Internet中部署少量的大服务节点,这些节点通常部署在多个大的ISP的PoP相连的位置,然后利用私有高速网络将这些大节点连接起来,以保证充分的带宽和时延,解决“中间一公里”的问题。这时通常采用Anycast请求路由机制,可使用户从“最佳”节点上获取信息,比基于DNS的请求路由机制要减少10%的响应时间。
　　相比于高度分布式的CDN,高速网辅助CDN可以明显减小CDN节点的规模和复杂度,从而降低管理和维护成本,但它同时也增加了终端用户到服务节点之间的距离。以LimeLight为例,其DNS解析过程的延迟比Akamai增加了23%,内容服务器的延迟则比Akamai增加了114%。
　　P2P辅助CDN
　　近年来,业界和学术界开始关注并致力于结合P2P和CDN的优势,构建P2P辅助CDN体系结构。一方面,可以利用CDN对内容的可控性和可管理性解决P2P的许多固有问题,如ISP不友好、用户带宽使用不公平、服务质量受用户加入/退出影响较大、启动延时过长等,另一方面,又能利用P2P解决大规模CDN系统中的可扩展性问题。基于这一架构,ChinaCache公司构建了LiveSky流媒体分发平台。另外,Akamai、VeriSign、CacheLogic、Grid Networks、Internap和Joost等公司也都推出了自己的P2P辅助CDN服务系统。
　　这些技术有效融合了高分布式和高速网辅助CDN的优点,可在分发大文件和实时流媒体时有效减少对服务器资源的需求。此外,P2P辅助CDN还能充分利用客户端提供的资源,为那些在CDN服务节点和客户端间需要高带宽消耗的应用类型(如高清TV)提供附加的品质保证。
　　云计算模式CDN
　　云计算(Cloud Computing)是分布式计算、效用计算、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物,旨在通过网络把多个成本相对较低的计算实体融合成一个具有强大计算能力的完美系统,并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这一强大的计算能力分发到终端用户手中。作为IT的一个新的发展方向,云计算开启了CDN网络架构、设计和应用的新思路。一方面,CDN提供商可以构建自己的云计算模式CDN平台,另一方面,CDN提供商也可以利用现有的云平台来辅助内容分发服务。一个典型的应用就是在解决流媒体分发问题时,利用云计算模式CDN,可以在保证分发效率的同时,提供可靠的QoS保障。
　　云计算模式CDN的一个重要特点是其商业模式,它能够使客户以pay-as-you-go的方式分发内容,如亚马逊的CloudFront和MetaCDN。这样不仅能为客户带来利益,CDN提供商也能通过按使用收费的模式配置资源,避免大量基础设施的投资。
　　
　　CDN技术面临的挑战
　　
　　随着CDN的普及以及技术的发展,今天的CDN网络依然面临众多的技术挑战,简要概括起来有如下几点:
　　1.服务节点部署问题,至今仍有两个相关问题难以回答:第一个是到底是用分布式部署方式好还是用大服务节点部署方式好,哪种部署方法适合中国的互联网?第二个是能否量化给出部署成本与服务质量之间的关系,从而能够设计出性价比最优的部署方案?按照常识来理解,部署的服务节点越多,管理的复杂度和投入成本将快速上升,但是用户体验应该会变好。但是到底多少才合适呢?M. Armbrust在近期的研究结果表明Akamai公司可以将其服务节点减少到60个左右,其服务品质不会明显下降。Huang等人的研究也表明Limelight的CDN系统的服务节点数如果在合适的位置增加9个,其性能从平均响应时间来看可以与Akamai接近。那在中国应该怎样部署才合适呢?要回答这个问题恐怕需要先对中国的互联网进行深入的测量分析才有可能回答这个问题。
　　2.服务节点的架构模式。近来随着对云计算等新模式的深入研究,如何从体系结构和资源管理的角度有效提高数据中心(IDC)尤其是大规模的数据中心的运营效率、吞吐率、可靠性、灵活性、可扩展性与安全性成为了学术界和工业界共同关注的热点,一些新的体系结构、协议与算法陆续被提出。而CDN网络的服务节点架构设计,除了要解决上述对于数据中心的通用问题外,更增加了与运营商之间的关系问题,也增加了多个节点之间有效协调工作的挑战。
　　3.内容分发主要面临的挑战是动态内容的加速和如何高性价比地提供分发服务。现有的CDN分发技术较好地解决了静态内容的分发问题,但遇到不可缓存内容的分发问题时,如动态内容和数据库应用时,面临着较大挑战。目前的解决方法主要通过改进传输协议和进行数据压缩来解决,这种方式在小范围或局部应用中能取得较好效果,而当分发范围扩大到整个Internet时,预期的效果并不理想。此外,随着分发内容日益趋向以流媒体内容为主,分发的成本压力越来越大,如何在保证服务质量的前提下有效地降低分发成本,成为了当前内容分发的一个挑战之一。
　　4.请求路由:当前的请求路由机制大多数是基于DNS架构的,这种方式对网络环境和计算环境的适应性较差。随着手机等移动终端用户逐渐成为网络内容消费的主体,这种相对静态的重定向方法就显得力不从心了。因此,如何找到更有效的请求路由方法就成为CDN服务能否满足未来新应用需要的一个门槛了。
　　5.系统管理,随着CDN服务内容的增加、服务规模的扩大和服务质量要求的提高,系统的管理越来越复杂,网络与设备的异构性、按需服务要求管理细粒度和高灵活性、高服务质量要求、内容安全管理的要求、以及对系统管理的可靠性和安全性的考量都加大了系统管理的复杂度。
　　当然,问题可能还有很多,但是技术的进步不就是通过征服一个又一个的挑战达到的吗!
　　
　　总结
　　
　　基于包交换的IP网络因其简单而有效的通信方式,在过去40年间得到快速发展,取得了巨大成功。未来网络架构希望在保持现有Internet架构特点的同时,能够为用户提供各种不同的QoS服务。
　　CDN技术能够在IP网络基础上为终端用户提供各种QoS的大规模内容分发服务,提高网络服务性能。在过去10年中,CDN网络的快速发展表明:CDN通过技术的进步与提高能够有效适应各种新兴应用对网络服务提出的需要,因此,CDN成为了当前弥补无质量保障的IP网络与丰富多彩服务质量需要的新应用之间的桥梁。有理由相信CDN 将会随着新应用的发展而不断进步,将在Internet中占据更为重要的地位。

转载注明来源:https://www.xzbu.com/8/view-1089208.htm