教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> IT计算机> 服务器> Apache Hadoop社区聚焦Apache HDFS

Apache Hadoop社区聚焦Apache HDFS

上传者:刘立黎
|
上传时间:2015-04-21
|
次下载

Apache Hadoop社区聚焦Apache HDFS



2012 年 10 月
Apache Hadoop* 社区聚焦
Apache* HDFS*
Apache Hadoop* 框架项目管理委员会成员兼 AltoScale 创始人 Konstantin Shvachko
详细介绍了 Apache* Hadoop* 分布式文件系统(简称 Apache HDFS* ),以及
该软件今后的开发方向。
Apache HDFS:面向海量数据的分布式存储
从最基本的层面来说,Apache Hadoop 分布式文件系统(简称
Apache HDFS)是 Apache 开源项目 Hadoop 下应用程序所使用
的主要分布式存储组件。同时,HDFS 还能作为独立的分布式
文件系统使用。
Apache Hadoop 框架包括大量支持分布式计算的组件,用以解
决大数据问题。位于堆栈最底层的是 Hadoop Common 组件,
该组件中包含的实用程序负责为其他 Hadoop 模块提供支持。
下一层是 HDFS,为其他层处理提供基础,其中包括 Apache
MapReduce、Apache HBase* 数据库、Apache Hive* 数据仓库基
础设施以及 Apache Pig* 数据流语言等。
此外,HDFS 还提供了一个抽象系统,一个 API 系统可支持用户
部署其他分布式文件系统或存储系统,如 Amazon* 简单存储服
务(S3)、开源并行虚拟文件系统(PVFS)、IBM* 通用并行
文件系统* (IBM GPFS*)、Lustre* 文件系统,以及最近推出的
MapR* Map-Reduce Ready Distributed File System 等。
工作模型
从用户的角度而言,HDFS 是一种包含文件和目录层次结构的
传统文件系统。它通过在商用服务器集群上运行的两项服务
实现:
? 单一的命名节点(NameNode)负责保持目录树结构,并管
理命名空间和客户端对文件的访问。
? 数据节点(DataNode)负责存储并管理数据块,将其作为集
群其余服务器上的本地文件。
“Hadoop* 2.0 对 HDFS* 进行了全新优化,
并增添了许多重要的新功能,这是我们近期
可实现的一项最具价值的改进举措。”
— Konstantin Shvachko
HDFS 将文件拆分成大型数据块,并在多个数据节点中进行复
制。此举旨在为文件数据提供冗余支持和可用性保证。元数据
存储在命名节点中,负责执行命名空间操作(例如打开、关闭
和重命名文件等),以及将数据块映射至数据节点。在当前的
设计中,单一的命名节点将整个命名空间存储在内存(RAM)
中,而数据在数据节点中复制和存储。数据节点负责支持来自
客户端的请求,并管理命名节点所指定的数据块操作,例如删
除和复制等。
在这一模型 中,命名空间与数据分离,以支持实现对于元数据
的最佳访问。尽管对元数据的请求通常简短,且频率不高,但
典型的 Hadoop 查询会生成大量请求。这一分离设计可在不影
响元数据操作的情况下,从数据节点传输数据流。
用户应用程序可使用 HDFS 客户端来访问文件系统,其中 HDFS
客户端是一个能够导出 HDFS 界面的库。HDFS 客户端可访问命
名节点以获取有关某个数据文件的元数据,包括文件块的位置
等,随后根据元数据所指定的要求将数据传输至数据节点,或
从数据节点传输至客户端。

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

2007ppt插入页码和总页数
2015年度浙江地区发行总监岗位薪酬调查报告(招聘版)
2015年度浙江地区店员岗位薪酬调查报告(招聘版)
浅谈投影片设计制作
统计学专业毕业论文答辩ppt模板
2015年度浙江地区导购员岗位薪酬调查报告(招聘版)
2015年度浙江地区安健环主管岗位薪酬调查报告(招聘版)
2015年度浙江地区电脑放码员岗位薪酬调查报告(招聘版)
2015年度浙江地区促销经理岗位薪酬调查报告(招聘版)
2015年度浙江地区安健环工程师岗位薪酬调查报告(招聘版)
2015年度浙江地区电信交换工程师岗位薪酬调查报告(招聘版)
2015年度浙江地区出版员岗位薪酬调查报告(招聘版)
2015年度浙江地区保险理赔员岗位薪酬调查报告(招聘版)
蓝宝石衬底项目可行性研究报告(2015年版)
2015年度浙江地区督导岗位薪酬调查报告(招聘版)
1项目申报书
2015年度浙江地区底格出格师岗位薪酬调查报告(招聘版)
2015年度浙江地区电信网络工程师岗位薪酬调查报告(招聘版)
角色演练
煤制烯烃项目可行性研究报告(2015年版)
2015年度浙江地区店长岗位薪酬调查报告(招聘版)
2015年度浙江地区保险核保员岗位薪酬调查报告(招聘版)
洗煤生产项目可行性研究报告(2015年版)
2015年度浙江地区安健环经理岗位薪酬调查报告(招聘版)
2015年度浙江地区保险经纪人岗位薪酬调查报告(招聘版)
Prezi使用方法
2015年度浙江地区保险业务主管岗位薪酬调查报告(招聘版)
铝塑复合板项目可行性研究报告(2015年版)
Word-邀请函
2015年度浙江地区服装跟单岗位薪酬调查报告(招聘版)

网友关注视频

冀教版小学数学二年级下册第二单元《有余数除法的竖式计算》
外研版八年级英语下学期 Module3
二次函数求实际问题中的最值_第一课时(特等奖)(冀教版九年级下册)_T144339
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
河南省名校课堂七年级下册英语第一课(2020年2月10日)
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
外研版英语七年级下册module1unit3名词性物主代词讲解
七年级英语下册 上海牛津版 Unit5
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,广东省
北师大版小学数学四年级下册第15课小数乘小数一
沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
第19课 我喜欢的鸟_第一课时(二等奖)(人美杨永善版二年级下册)_T644386
【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
人教版历史八年级下册第一课《中华人民共和国成立》
二年级下册数学第三课 搭一搭⚖⚖
沪教版牛津小学英语(深圳用) 四年级下册 Unit 3
精品·同步课程 历史 八年级 上册 第15集 近代科学技术与思想文化
沪教版八年级下册数学练习册一次函数复习题B组(P11)
三年级英语单词记忆下册(沪教版)第一二单元复习
每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感?
化学九年级下册全册同步 人教版 第25集 生活中常见的盐(二)
外研版英语七年级下册module3 unit2第一课时
冀教版小学数学二年级下册1
化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T3763925