翻新时间:2013-12-14
基于访问趋势的热点副本创建策略(1)
摘要:在分析动态副本创建策略的基础上,对集中式的动态创建策略进行改进,将热点数据副本的创建与数据访问的历史记录相结合。最后通过数据网格模拟器进行模拟实验,得出并分析了实验结果。
关键词:数据网格; 副本优化; 热点副本
在现代科学研究和应用领域中,大量的数据是重要的资源,如高能物理和粒子物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据仓库等的应用。其数据量将达到TB至PB的级别。同时,地理上广泛分布的科研工作者和用户都希望能访问和分析这些庞大的数据,而现有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容量分布存储和分布处理的要求。因此,数据网格应运而生,以解决上述应用面临的问题。
数据网格计算[1]为各种应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台。它是对广域范围内大规模的数据集进行分布式管理和分析及使用的一个综合的体系结构,实现网格环境中安全、可靠和有效的数据传输以及访问、复制等操作,并提供到不同存储系统的统一接口,较好地解决了上述问题, 从而使得数据密集型的高性能计算和大量的共享数据密集型的事务处理及科学研究成为可能。
在数据网格环境下,通过数据的复制使数据更接近用户,可以更快执行用户提交的作业,在更短的时间内访问作业所需的数据文件,以快速提高数据访问性能。作业通过资源代理(RB)提交给网格。RB将作业调度到不同的计算单元(CE),以提高网格的吞吐量。副本管理器在每个站点管理站点与站点、存储单元与计算单元接口间的数据流。副本优化器负责副本的选择、动态生成和删除。在副本优化服务执行过程中,网络性能和磁盘I/O也是影响作业调度和副本选择的重要因素。优化算法应通过检查计算单元和各个存储单元之间的可用带宽和存储单元的磁盘I/O来从不同的存储节点获得最优的副本。Vazhkudai等人[2,3]表明在网格环境下,磁盘吞吐时间能占用30%的传输时间。因此在计算数据传输时间时,应考虑网络带宽和磁盘吞吐率。这样的优化策略可以更加接近真实的数据网格系统。
本文在有限的网络带宽和磁盘吞吐能力的情况下,根据不断变化的外部访问特征和副本访问历史记录来对副本进行优化,从而使得用户可以就近访问。整个数据网格系统达到一个负载均衡的状态。
1相关工作
在用户提交作业到作业完成这个过程中,副本管理器对作业的生命周期进行三处优化[4]:
a)资源代理(RB)决定作业在哪个计算单元上运行,即调度的优化。通过计算一个代价函数来实现:
Cost=getAccessCost() estimatedQueuingTime()。作业总的执行是作业访问文件时间和作业排队时间之和[5]。其中作业访问数据文件时间包括数据文件读取时间、网络带宽延迟时间和磁盘I/O时间。本文中的作业调度流程如图1所示。
b) 作业运行中的动态副本选择。一旦作业在计算单元(CE)上运行,它需要访问不同的数据文件。由于一个数据文件在各个网格站点上可能存在多个副本,当一个作业需要访问某个数据文件时,副本优化器(RO)通过调用函数getBestFile()来找到最优的文件副本。
c)动态副本优化,即触发在第三方站点上复制数据文件。每个站点对所请求的数据文件进行监控和记录。当特定的数据文件成为热点数据时,则可以考虑将该文件复制到最有可能被访问到的第三方站点。本文通过数据文件的前N次访问历史记录来判断该数据文件是否可成为热点副本,并通过一定的算法对其进行复制。 一种基于混合决策树的调度知识获取算法
一种限制搜索区域的多比例尺最优路径规划算法
下载文档
网友最新关注
- 放烟花
- 比童年
- 种太阳
- 三英战小狗
- 无头苍蝇
- 喜迎新学期
- 失败是成功之母
- 甜蜜的梦
- 《绿野仙踪》读后感
- 春天来了
- 难忘的一件事
- 鸡蛋布丁
- 动物应聘
- 有益的动物
- 可爱的嘟嘟
- 2005年区组织工作例会工作方案
- 名店开业系列推广方案
- 质量技术监督局开展“三个面向”活动的实施方案
- **中级人民法院关于开展创建“平安**”活动的工作方案
- 房产系统房屋修缮工程招标工作方案
- 苏州胥城大厦首届文化艺术节方案
- 收费站向社会推出便民措施的实施方案
- 班子先进性教育专题民主生活会方案
- 区农林农机水利局关于“放心肉”工程的实施方案
- 粮食储备库安全生产应急方案
- 庆典仪式流程
- 胥城大厦文化营销方案
- 关于加强民主评议党员工作的实施方案
- 举办月度员工生日party活动方案
- *区花卉产业化示范基地建设实施方案
- 浅析从流行音乐进课堂入手 提高学生音乐欣赏的能力
- 试论中小学音乐教学的德育功能
- 论古筝的定弦与调式音阶的创新
- 试论幼儿园音乐教育现状及提升策略研究
- 浅议中学音乐校本教材的开发与编制
- 探讨晚清到民国初期西方音乐对中国音乐产生的影响
- 让流行音乐在音乐课堂中响起
- 民族音乐在音乐市场的传承思考
- 基于生态式教育观下的音乐教育
- 民族音乐元素在流行音乐中的应用研究
- 怎样练习音阶和练习曲
- 高校音乐教育管理改革与发展对策研究
- 浅析中国舞蹈行业创新发展模式
- 浅议音乐实践在高师音乐教育中的意义
- 浅论社会音乐生产结构中音乐职业与媒介的互动关系
- 《四季》教学设计(第一课时)
- 《借生日》教学设计
- 《两只鸟蛋》教学设计
- 《美丽的小路》教学设计
- 《四季》教学设计
- 《比尾巴》第二课时教案
- 《地球爷爷的手》教学设计
- 《小小的船》教学设计
- 《詹天佑》课堂实施设计
- 《松鼠和松果》教学设计
- 《松鼠和松果》教学片段实录及教学反思
- 《比尾巴》教学设计
- 《小小竹排画中游》教学设计
- 《将相和》整体教案设计及评析
- 《美丽的小路》教案设计