内容分发网络研究

内容分发网络研究

内容分发网络研究

第 8 期李 乔:内容分发网络研究

11]

1561

表1 内容分发网络演化进程时间

业务对象静态/动态网络数据.

简要描述主要针对静态/动态web页面进行分发.

主要针对大数据

2002-2006多媒体数据.

量的媒体流进行分发.

通过与P2P网络

2006-至今共享类数据.

融合,降低服务端负载等.

通过与云计算平台融合,解决资源整合,服务统一管理等问题.

3040,3466,3835,3866[8~

.Spagna等人在文献[12]中分

别从缓存服务器位置部署、路由请求机制、内容副本放置策略及内容定位四个方面提出设计高分布式内容分发网络的关键因素.国内对内容分发网络研究的关注和相关工作还较少.清华大学尹浩等人与中国最大的内容分发网络提供商ChinaCache建立联合实验室,对CDN进行长期的研究[13,14],并在文献[15]中对内容分发网络进行了简要的综述.北京邮电大学杨戈等人在文献[16]中针对内容分发网络中的流媒体技术进行了综述.鉴于内容分发网络在当前互联网所占比重日趋增大,为深入理解内容分发网络的功能结构与部署机制,对其研究方向进行总体把握,并促进国内在该方向上的研究,对内容分发网络进行综述具有重大意义.

本文首先阐述了内容分发网络的演变过程,并对内容分发网络进行定义,同时重点分析了内容分发网络的体系结构,然后对内容分发网络中的部署策略、内容路由、内容管理、性能测量的各个方面的主要研究工作进行了总体介绍,最后对内容分发网络的发展趋势进行了展望.

第一代CDN(Web-based)第二代CDN(Videoondemand-based)第三代CDN(P2P-assisted)

1998-2002

第四代CDN(cloud-based)

2009-至今整合型数据.

内容分发网络的迅猛发展促使国内外研究机构、业界厂商与国际相关组织开始进行制定标准化文档.互联网工程任务组IETF早在2001年就将内容分发网络内容写进RFC规范中,国际电信联盟ITU(Inter-nationalTelecomunion),互联网流媒体联盟ISMA(InternetStreamingMediaAlliance),欧洲电信标准化协会ETSI(Eu-ropeanTelecommunicationsStandardsInstitute)均随后在其标准化文件中对内容分发网络进行阐述.2009年中国电信研究院报告指出全球内容分发网络市场年均复合增长率CAGR(Compoundannualgrowthrate)达到4416%,并预测到2013年其市场规模将达到45亿美元[24].

[12,20]

2 内容分发网络演化进程

Internet流量指数性增长以及用户对网络速度的需求已促使网络资源分发的准确性、可用性、可靠性等成为互联网技术的关键问题.在上个世纪90年代,由于网络接入带宽的限制,研究人员提出采用代理缓存技术提升网络性能.缓存技术具有显著的优势:通过缩短资源在网络中的传输距离降低带宽消耗与网络拥塞,进而增强资源可用性与服务可靠性.然而代理技术具有较强的本地局部性,对于整个互联网的效率提升作用有限.当前的代理缓存技术主要以层次结构缓存为主,以改进服务性能与减少带宽消耗[17].继代理缓存技术之后,研究人员提出一种服务场概念,但是服务场依旧只是在源服务器附近部署服务机群与4~7层交换机等对网络请求进行分发.

随着Web技术的不断推进,静态页面在整个互联网流量中的比重持续下降,动态交互数据与多媒体共享资源的迅猛增长导致代理缓存技术很难满足这些内容分发的需求.更关键的在于近源的部署策略并不能很好的解决类似于flashcrowd[19]与slashdot[20]现象.1998年,麻省理工大学Leighton等人为解决在整个互联网中长距离传输的时延与网络拥塞问题,首次提出内容分发网络这种新型的覆盖网络结构[21,22],并依托该项新技术建立了全球最大的内容分发网络服务提供商Aka-mai[23].在经历10余年的技术改进,内容分发网络已经发展到第4代,表1给出它的演化过程.

[18]

3 内容分发网络定义与体系结构

311 内容分发网络定义

内容分发网络作为运行于整个互联网上的覆盖网,主要致力于解决互联网中的服务质量优化.一般而言,一个典型的内容分发网络将多个内容存储服务器部署于不同的地理位置的ISP(InternetServiceProvider)域中,包括网络接入点(PointofPresence)与骨干交换中心域.这些内容存储服务器统一由全局内容管理服务器管辖,并依据用户的访问体验动态调整内容路由策略,以优化服务负载,流量压力等网络性能.IETF在RFC3466中将内容分发网络定义为内容网络中的一种:一个典型的内容分发网络由请求路由(Reques-tRouting)

系统,内容存储代理服务器(Surrogate),内容分布(Distr-i

bution)系统与审计(Accounting)系统构成.Vakali等人定义内容分发网络应当至少包括四个部分:内容代理服务器,内容路由转发系统,内容分布设施与审计机制[25].本文在综合前述内容与文献[26]的基础上,对内容分发网络进行如下定义:以改善网络服务质量为目,

内容分发网络研究

1562 电 子 学 报2013年

通过内容路由、全局负载调度、分布式存储与系统审计进行管理的覆盖网络.

文献[27]将内容分发网络分为四个功能结构:(1)内容外包组件(contentoutsourcingunit):将数据从源服务端推送到代理服务端;(2)内容分发组件(contentdeliveryunit):将数据从代理服务端分发至用户端;(3)请求路由组件(requestroutingunit):通过特定的算法将用户请求转发到合适的代理服务端;(4)管理组件(managementu-nit):对上述三个组件的信息数据进行收集、分析并对系统进行自优化.

典型的内容分发网络工作流程如图1所示,互联网用户首先向资源定位服务器发送内容请求,定位服务器收到请求后根据当前的内容路由策略将其转发至低延迟低负载的内容代理服务器,最后内容代理服务器将所请求的内容传输至用户.从图1可看出,内容分发网络在传统的C/S(Client/Server)模式中增加了数据分发层与全局服务管理层,其中数据分发层将内容提供商的资源进一步推向距离用户更近的区域,有效缩短

了互联网的传输距离和访问时延,同时减少了互联网中的重复流量,大幅降低源服务器的负载压力.在管理服务层中,内容管理服务负责对源内容进行分类与整合,把复杂的源数据分割为可缓存与不可缓存,以优化内容的存储机制;分布式数据管理负责对源数据进行分布式存储与更新;全局负载服务通过实时收集分析内容代理服务器的访问情况动态调节资源定位算法;数据分析审计负责对整体网络日志进行分析以促进整个内容分发网络的性能优化以及作为商业化内容分发网络的计费数据来源.内容分发网络在当前已有成熟的商业化运营模式,影响其定价的主要因素有:带宽消耗率、流量分布的种类、内容副本的空间大小、内容代理服务器数量及相关的稳定性可靠性与安全性[28].文献[29]指出商业化内容分发网络的核心竞争优势在于扩展性、安全性、可靠性与服务性能.

本文在文献[25,28,29]的基础上,结合当前的内容分发网络运营商的功能,提出如图2所示的内容分发网络体系结构.内容分发网络体系可

以分为硬件设备

内容分发网络研究

第 8 期李 乔:内容分发网络研究1563

层,交互协议层与应用服务层三个层次:硬件设备层包括各种内容分发服务管理机群、分布式数据库与网络转发设备;交互协议层分为内部交互与外部交互两个部分,服务管理层是内容分发网络的核心部分,包括资源路由与定位、全局负载均衡、资源分发、存储模式与安全性管理等.

或基于图的算法.由于代价度量的多样化,如平均响应时间、访问距离/跳数、带宽利用率、服务负载等,而且互联网的实时变化也导致部署策略随之改变,因此并没有通用化的部署机制.总而言之,层次化混合结构的部署方式是目前主流的服务器部署体系,随着云计算技术的兴起,对于新型基于云的内容分发网络部署策略将是一个重要的研究方向.

312 部署机制

内容分发网络的部署策略主要分为两类:边缘化部署与核心域部署.边缘化部署的思想是将内容代理服务器部署于多个ISP内,从而降低跨域网络传输的时延,这种部署策略的代表是Akamai,其在全球范围内78个国家的1,000个网络中部署超过105,000台服务器.核心交换区域部署的思想是将大规模数据中心部署于高速光纤骨干网络,通过高带宽,高处理能力降低用户访问时延,这种部署策略的代表是Limelight[30],其在全球范围72个光纤交换区域部署数据中心,与超过578个ISP进行光纤直连.

边缘化部署机制是内容分发网络的主流部署方式,主要是考虑到全球性网络传输距离过长,为减少数据在网络内的/最后一里0(lastmile)传输时延,将资源前置于离用户更近的区域以期有效改善访问体验.为保证内容分发的服务质量,内容分发网络管理者需要维护大量分布式服务器数据的同步和更新.总体而言,该问题等价于在N个不同的位置部署M个服务器(N>M)以达到最小代价消耗,即K-median问题[25],而最小化K-center问题已被证明是NP完全的[31].

Ni等人在文献[32]中认为基于层次化结构的内容分发服务能够有效适应当前的层次化IP体系,并提出一种基于簇的协作化cache策略应用于多媒体内容分发网络.随着P2P(peertopeer)技术在网络上的普及,一些多媒体内容分发技术将内容分发与P2P相结合,如Jiang等人在文献[33]中提出一种面向P2P-CDN的部署策略.总之,该类方法主要在逻辑拓扑上改进部署机制,通常都关注于整体的结构优化.

内容代理服务器的位置部署策略是内容分发网络中的一项关键技术,其直接影响分发服务质量、网络流量负载以及成本代价.合适的服务器部署策略能够降低ISP域间流量结算成本与域内重复流量.Vakali等人在文献[25]中指出内容分发网络管理者通常依据用户所在的网络类型选择部署策略,主要分为Single-ISP与Mult-iISP两类.对于Single-ISP,至少需要部署40个内容代理服务器才能保证在地理位置上覆盖整个ISP边缘网络.Mult-iISP的最大优势在于能够将请求访问流量控

制在本域内,降低了ISP的域间流量.

综上所述,当前内容分发网络的部署策略研究如

图,313 内容路由

内容分发网络作为内容网络的一种,内容路由策略的优劣直接影响整个内容分发网络的性能.内容路由主要负责将用户请求通过一定的路由算法重定向至最靠近用户的内容代理服务器上,并通过给定的资源选择策略从而达到内容的快速分发.内容路由主要分为两个部分:(1)资源路由算法,即通过监测当前网络各项性能指标与服务负载压力,选择最佳的内容代理服务器进行响应;(2)请求转发机制,即依据哪种策略对服务请求进行转发.典型的内容分发网络资源路由流程如图4所示:

(1)用户向请求解析服务器进行资源请求;(2)全局性能监测服务机群收集分析分布于互联网中的内容代理服务机群的服务质量以及网络链路各项性能参数;(3)节点选择服务器根据实时性能监视服务的反馈信息,动态调整选择算法与资源定位策略;(4)解析服务器通过资源定位结果,将用户请求转发至最佳的内容代理服务器;(5)内容代理服务器将数据发送至用户.31311 资源路由算法

请求路由属于应用层路由策略,其思想是根据应用层服务需求,对资源请求进行相应的转发.路由算法主要分为静态与动态两类:静态路由是指当内容分发网络部署后,对于用户的请求都根据给定的路由转发策略重定向至内容代理服务器,该算法不随网络状态与服务负载发生变化;动态路由是指实时监视网络参数与服务端负载,动态修改转发策略,尽可能保证当前服务维持在最佳状态.

静态路由策略通常依据用户的访问距离或跳数作为节点选择度量.文献[34]采用传输距离与服务器历史负载信息作为服务节点选择的依据,对请求进行转发.这种方法在性能上优于轮询,然而由于没有对链路进

内容分发网络研究

1564 电 子 学 报2013年

行监测,对用户的服务质量并不高.

动态路由策略主要通过被动收集或主动探测方式对网络状态与用户访问质量进行监测,自适应修正路由转发机制.Pierre等人开发的研究型内容分发网络Globule采用网络邻近性及周期性更新的传输距离动态

改变路由算法[35].但由于网络探测的准确性较低且没有考虑流量对延迟的影响导致整体性能较低.文献[36]使用改进的BGP协议将内容索引加入协议首部以提升查找效率

.

由于内容分发网络的商业化,工业界对资源路由算法也较为重视.思科公司的分布式重定向器[21](Dis-tributedDirector)把AS(AutonomousSystem)域内距离,AS域间距离与端到端延迟作为动态转发算法的计算权值.Akamai公司在多个层面对转发算法进行优化,包括内容代理服务器负载、传输路径上的带宽占用率、当前服务质量(可靠性,延迟等).

资源路由算法的优劣直接影响内容分发网络的服务质量,静态路由策略不具备网络感知能力,在性能上远低于动态策略.动态策略由于其对各项度量指标进行实时监测,在线更新选择算法,大幅度提升内容分发网络的性能,但其开销与预测准确性还有待提升.如何降低监测代价及提高对于网络状态的预测能力将是一个具有挑战性的研究课题.

31312 请求转发机制

路由转发是资源路由中的另一项重要组成,其描述的主要是请求转发的实现机制.本文在文献[37]的基础上,对请求转发机制进行了总结.如图5所示,主要可分为基于协议转发、基于URL转发、基于泛播转发与基于P2P索引四类.其中基于P2P索引的转发机制主要由P2P混合内容分发网络使用,单纯分发Web数据的内容分发网络并不采用该类方法

.

基于DNS的转发机制是当前应用最广泛的请求转发策略,在典型的DNS转发机制中,用户将所请求资源的URL发送至域名服务器,域名服务器根据当前资源路由算法结果将请求转发至内容代理服务器.互联网域名服务系统的层次结构也促使该策略成为内容分发网络商的首选.文献[20]指出当前的内容分发网络商在分发网内部署多级域名解析服务器,通过层次结构的分流降低网络消耗与访问延迟.然而,基于DNS转发机制由于DNS本身的安全威胁而可能导致服务故障.基于HTTP的转发策略是使用HTTP协议首部字段对请求进行转发.与DNS转发机制类似,HTTP协议的通用性意味着该机制的易用性.这种策略主要用于Web机群内的请求处理,如HTTP代理等.

基于URL的转发机制主要用于源服务器将请求转发至内容代理服务器的过程,该方法主要是将Web页面上的元素进行分类,将大量静态数据转发至内容代理服务器,动态交互数据则由源服务器返回给用户.

泛播转发策略可以分为IP层泛播与应用层泛播两类.Alzoubi等人在文献[6]中重新审视了IP泛播技术在内容分发网络中的应用,指出IP泛播技术由于缺乏外界感知能力而无法提供较好的服务质量,并提出一种基于负载感知的IP泛播内容分发网络体系.泛播技术的优势在于可以利用有限的IP地址空间获得良好的分发性能,然而随着内容代理服务器数量的增多,泛播路由表的变动开销迅速增大,使得维护代价过高.文献[38]使用具备一定存储能力的路由器作为资源缓存节点,并采用多播技术提升网内内容分发效率.

P2P混合的内容分发网络主要采用基于P2P索引.]