Apache Hadoop社区聚焦Apache HDFS

上传者：刘立黎
|
上传时间：2015-04-21
|
密次下载

Apache Hadoop社区聚焦Apache HDFS

2012 年 10 月
Apache Hadoop* 社区聚焦
Apache* HDFS*
Apache Hadoop* 框架项目管理委员会成员兼 AltoScale 创始人 Konstantin Shvachko
详细介绍了 Apache* Hadoop* 分布式文件系统（简称 Apache HDFS* ），以及
该软件今后的开发方向。
Apache HDFS：面向海量数据的分布式存储
从最基本的层面来说，Apache Hadoop 分布式文件系统（简称
Apache HDFS）是 Apache 开源项目 Hadoop 下应用程序所使用
的主要分布式存储组件。同时，HDFS 还能作为独立的分布式
文件系统使用。
Apache Hadoop 框架包括大量支持分布式计算的组件，用以解
决大数据问题。位于堆栈最底层的是 Hadoop Common 组件，
该组件中包含的实用程序负责为其他 Hadoop 模块提供支持。
下一层是 HDFS，为其他层处理提供基础，其中包括 Apache
MapReduce、Apache HBase* 数据库、Apache Hive* 数据仓库基
础设施以及 Apache Pig* 数据流语言等。
此外，HDFS 还提供了一个抽象系统，一个 API 系统可支持用户
部署其他分布式文件系统或存储系统，如 Amazon* 简单存储服
务（S3）、开源并行虚拟文件系统（PVFS）、IBM* 通用并行
文件系统* （IBM GPFS*）、Lustre* 文件系统，以及最近推出的
MapR* Map-Reduce Ready Distributed File System 等。
工作模型
从用户的角度而言，HDFS 是一种包含文件和目录层次结构的
传统文件系统。它通过在商用服务器集群上运行的两项服务
实现：
? 单一的命名节点（NameNode）负责保持目录树结构，并管
理命名空间和客户端对文件的访问。
? 数据节点（DataNode）负责存储并管理数据块，将其作为集
群其余服务器上的本地文件。
“Hadoop* 2.0 对 HDFS* 进行了全新优化，
并增添了许多重要的新功能，这是我们近期
可实现的一项最具价值的改进举措。”
— Konstantin Shvachko
HDFS 将文件拆分成大型数据块，并在多个数据节点中进行复
制。此举旨在为文件数据提供冗余支持和可用性保证。元数据
存储在命名节点中，负责执行命名空间操作（例如打开、关闭
和重命名文件等），以及将数据块映射至数据节点。在当前的
设计中，单一的命名节点将整个命名空间存储在内存（RAM）
中，而数据在数据节点中复制和存储。数据节点负责支持来自
客户端的请求，并管理命名节点所指定的数据块操作，例如删
除和复制等。
在这一模型中，命名空间与数据分离，以支持实现对于元数据
的最佳访问。尽管对元数据的请求通常简短，且频率不高，但
典型的 Hadoop 查询会生成大量请求。这一分离设计可在不影
响元数据操作的情况下，从数据节点传输数据流。
用户应用程序可使用 HDFS 客户端来访问文件系统，其中 HDFS
客户端是一个能够导出 HDFS 界面的库。HDFS 客户端可访问命
名节点以获取有关某个数据文件的元数据，包括文件块的位置
等，随后根据元数据所指定的要求将数据传输至数据节点，或
从数据节点传输至客户端。

教育资源为主的文档平台

文档分类