Apache Hadoop社区聚焦Apache HDFS
上传者:刘立黎|上传时间:2015-04-21|密次下载
Apache Hadoop社区聚焦Apache HDFS
2012 年 10 月
Apache Hadoop* 社区聚焦
Apache* HDFS*
Apache Hadoop* 框架项目管理委员会成员兼 AltoScale 创始人 Konstantin Shvachko
详细介绍了 Apache* Hadoop* 分布式文件系统(简称 Apache HDFS* ),以及
该软件今后的开发方向。
Apache HDFS:面向海量数据的分布式存储
从最基本的层面来说,Apache Hadoop 分布式文件系统(简称
Apache HDFS)是 Apache 开源项目 Hadoop 下应用程序所使用
的主要分布式存储组件。同时,HDFS 还能作为独立的分布式
文件系统使用。
Apache Hadoop 框架包括大量支持分布式计算的组件,用以解
决大数据问题。位于堆栈最底层的是 Hadoop Common 组件,
该组件中包含的实用程序负责为其他 Hadoop 模块提供支持。
下一层是 HDFS,为其他层处理提供基础,其中包括 Apache
MapReduce、Apache HBase* 数据库、Apache Hive* 数据仓库基
础设施以及 Apache Pig* 数据流语言等。
此外,HDFS 还提供了一个抽象系统,一个 API 系统可支持用户
部署其他分布式文件系统或存储系统,如 Amazon* 简单存储服
务(S3)、开源并行虚拟文件系统(PVFS)、IBM* 通用并行
文件系统* (IBM GPFS*)、Lustre* 文件系统,以及最近推出的
MapR* Map-Reduce Ready Distributed File System 等。
工作模型
从用户的角度而言,HDFS 是一种包含文件和目录层次结构的
传统文件系统。它通过在商用服务器集群上运行的两项服务
实现:
? 单一的命名节点(NameNode)负责保持目录树结构,并管
理命名空间和客户端对文件的访问。
? 数据节点(DataNode)负责存储并管理数据块,将其作为集
群其余服务器上的本地文件。
“Hadoop* 2.0 对 HDFS* 进行了全新优化,
并增添了许多重要的新功能,这是我们近期
可实现的一项最具价值的改进举措。”
— Konstantin Shvachko
HDFS 将文件拆分成大型数据块,并在多个数据节点中进行复
制。此举旨在为文件数据提供冗余支持和可用性保证。元数据
存储在命名节点中,负责执行命名空间操作(例如打开、关闭
和重命名文件等),以及将数据块映射至数据节点。在当前的
设计中,单一的命名节点将整个命名空间存储在内存(RAM)
中,而数据在数据节点中复制和存储。数据节点负责支持来自
客户端的请求,并管理命名节点所指定的数据块操作,例如删
除和复制等。
在这一模型
中,命名空间与数据分离,以支持实现对于元数据
的最佳访问。尽管对元数据的请求通常简短,且频率不高,但
典型的 Hadoop 查询会生成大量请求。这一分离设计可在不影
响元数据操作的情况下,从数据节点传输数据流。
用户应用程序可使用 HDFS 客户端来访问文件系统,其中 HDFS
客户端是一个能够导出 HDFS 界面的库。HDFS 客户端可访问命
名节点以获取有关某个数据文件的元数据,包括文件块的位置
等,随后根据元数据所指定的要求将数据传输至数据节点,或
从数据节点传输至客户端。
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.27
- 2018湖南省考申论每周一练:寒门难出贵子吗
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.20
- 2018湖南省考行测题库:行测每日一练资料分析练习题07.27
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.31
- 2018湖南公务员面试中情景模拟题:巧用生活智慧
- 2018湖南省考行测题库:行测每日一练常识判断练习题答案07.25
- 2018湖南省考行测题库:行测每日一练判断推理练习题07.26
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.21
- 2018湖南省考行测题库:行测每日一练资料分析练习题答案07.27
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.27
- 面试题库:面试每日一练结构化面试模拟题答案7.26
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.28
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.14
- 2018湖南省考行测题库:行测每日一练判断推理练习题07.19
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.20
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.31
- 2018湖南省考行测题库:行测每日一练数量关系练习题答案07.21
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.28
- 2018湖南省考行测题库:行测每日一练言语理解与表达练习题07.24
- 2018湖南省考行测题库:行测每日一练判断推理练习题答案07.19
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.13
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.25
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.17
- 2018湖南省考行测题库:行测每日一练资料分析练习题07.20
- 2018湖南省考行测题库:行测每日一练数量关系练习题07.28
- 2018湖南省考行测题库:行测每日一练常识判断练习题答案07.18
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.19
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题答案7.15
- 2018湖南省考面试题库:面试每日一练结构化面试模拟题7.18
网友关注视频
- 化学九年级下册全册同步 人教版 第18集 常见的酸和碱(二)
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
- 第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T1406126
- 冀教版小学英语五年级下册lesson2教学视频(2)
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 沪教版八年级下册数学练习册20.4(2)一次函数的应用2P8
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
- 沪教版八年级下次数学练习册21.4(2)无理方程P19
- 北师大版数学四年级下册第三单元第四节街心广场
- 沪教版八年级下册数学练习册21.3(2)分式方程P15
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
- 七年级英语下册 上海牛津版 Unit9
- 沪教版八年级下册数学练习册21.4(1)无理方程P18
- 六年级英语下册上海牛津版教材讲解 U1单词
- 苏科版数学八年级下册9.2《中心对称和中心对称图形》
- 【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,辽宁省
- 《小学数学二年级下册》第二单元测试题讲解
- 冀教版小学数学二年级下册第二单元《租船问题》
- 二年级下册数学第一课
- 第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
- 青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
- 北师大版数学 四年级下册 第三单元 第二节 小数点搬家
- 冀教版小学数学二年级下册第二单元《有余数除法的简单应用》
- 二年级下册数学第三课 搭一搭⚖⚖
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 3
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
- 8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
- 化学九年级下册全册同步 人教版 第25集 生活中常见的盐(二)
- 外研版英语七年级下册module3 unit2第一课时
- 外研版英语三起6年级下册(14版)Module3 Unit2
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理