Apache Hadoop社区聚焦Apache MapReduce
上传者：宋轶群|上传时间：2015-04-21|密次下载
Apache Hadoop社区聚焦Apache MapReduce
2012 年 11 月
Apache Hadoop* 社区聚焦
Apache* MapReduce
Devaraj Das 介绍了一种强大的大数据集并行处理模型 — Apache* MapReduce，它
同时也是您的 Apache Hadoop* 系统的核心。Devaraj 是 Apache Hadoop 项目的项
目管理委员会成员，Apache Hadoop 分布式文件系统（HDFS*）、MapReduce 和
Hcatalog 的委员，同时也是 Apache HBase* 数据库程序的贡献者。此外，他还是
Hortonworks 的共同创办人及技术成员之一。
Apache MapReduce：看似简单
Apache MapReduce 是一种编程模型，可提供并行处理大数据集
所需的高度可扩展性。MapReduce 最初在谷歌得到运用，目前
与实用程序层的 HDFS 和 Hadoop* Common 一起构成了开放源代
码 Apache Hadoop 框架的核心部件。其它 Apache Hadoop 系统组
件，例如 Apache Pig* 数据流语言和 Apache Hive* 数据仓库基础设
施，在数据处理之前均使用 MapReduce 进行前端数据集转换。
MapReduce 程序或作业运行在 Hadoop 集群的数百甚至数千台
服务器上，执行两个基本任务：
? 映射。HDFS 中的大数据集被转化为键值对，并均匀地分布
在集群上。
? 化简。映射任务的结果成为化简任务的输入，并结合到更小
的键值对中，来创建最终输出。
当在提供高汇聚 I/O 的集群上对 MapReduce 与 HDFS 进行配对
时，可借助高吞吐率高效地处理大数据集。
主从架构
MapReduce 采用主从架构。运行在单个节点或服务器上的
JobTracker 是主程序。运行在系统中其它节点之上的 TaskTrackers
是从程序。客户端向 MapReduce 框架提交作业。JobTracker 把它
分解为多项任务，并建立所需的数据结构，以跨整个集群并行
运行作业。工作分配给最近的、可用的 TaskTracker，后者将数
据输入映射并“洗牌”到特定的化简任务，且在此创建输出。
这种“数据局部性”是 MapReduce 框架的关键设计标准。它通
过存储并处理相同位置的数据支持较大数据集的高效吞吐。
“这种‘数据局部性’是 MapReduce 框架的关键设计标
准。它通过存储并处理相同位置的数据支持较大数据集
的高效吞吐。”
— Devaraj Das
确保大作业继续：容错
Apache* MapReduce 具有容错功能。在大型集群中，节点可
能会定期发生故障。当一个节点上的任务处理发生故障时，
MapReduce 会自动在另一节点上重新执行该任务。即使在发
生重要集群负载损耗时，作业也可继续运行。
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题（附答案）
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级（上）数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016－2017学年上期八年级素质测查（二）语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题（无答案）
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷（附答案）
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题（必修一第四、五单元）
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 中银国际-机械行业周报：继续看好国防军工板块、“一带一路”主题投资、低估值蓝筹
- 华泰证券-交运设备行业“互联网＋”系列报道之三，互联网造车篇：互联网汽车新生态、新机遇
- 民生证券-电气设备、新能源行业：一季度光伏装机超预期，全年20GW可期
- 申万宏源-轻工造纸行业一季报前瞻：家居与包装延续稳健增长，把握具有长期成长基因的公司
- 白银投资正当时 从金道全优惠体系开始
- 先秦诸子散文文学传播研究——以《论语》、《孟子》为例
- 零基础学外汇：总结斐波那契
- .西方经济史学与中国经济史研究
- 结合我国信用发展状况，讨论利率如何改革才能充分发挥其在经济发展中的作用？
- 零基础学外汇：斐波那契延伸位
- 德希总理将终极会面 债局破冰还是彻底撕破脸？
- 招商证券-汽车行业2015年2季度策略报告：平稳，变革不断
- 2010年金融行业信息化建设和IT应用趋势研究报告
- gct语文古代文学基础
- 中银国际-煤炭行业价格周报：煤价大幅杀跌下需求有所恢复，但持续性仍有不确定性
- 零基础学外汇：斐波那契和支撑阻力位的合用
- 4.21汇评丨希腊阴魂不散拖累欧元 美元表示“躺着”也能走高
- 府县史学文化论述研究_文学理论论文
- 零基础学外汇：斐波那契回撤
- 论桂学研究的文学理论与方法论基础——桂学理论与方法论研究之六 (2)
- 爱建证券-房地产行业上市房地产企业转型研究：光环褪色后，房地产企业何去何从？
- GWFX金道环球英镑技术分析：会议纪要是否隐含加息风波
- 申万宏源-轻工造纸行业一季报前瞻：家居与包装延续稳健增长M把握具有长期成长基因的公司
- 民生证券-建筑工程行业周报第10期（20150413~0419）：降准在存量和流量两个方面利好建筑板块
- 股市防套八大技巧
- 长江证券-煤炭行业周报：宽松政策加码，把握板块估值提升机会
- z香港文学研究综述
- 华泰证券-房地产行业“互联网+”系列报告之五：从行业属性看待地产“互联网”
- 东方证券-电子竞技行业：从流量崛起谈产业展望
- 第七章 十九世纪的西方近代史学[最新]
网友关注视频
- 外研版英语三起5年级下册（14版）Module3 Unit1
- 二年级下册数学第二课
- 每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感？
- 8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
- 沪教版八年级下次数学练习册21.4（2）无理方程P19
- 第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
- 沪教版八年级下册数学练习册20.4（2）一次函数的应用2P8
- 沪教版八年级下册数学练习册21.3（3）分式方程P17
- 3月2日小学二年级数学下册（数一数）
- 二年级下册数学第三课 搭一搭⚖⚖
- 冀教版英语五年级下册第二课课程解读
- 苏科版数学 八年级下册 第八章第二节 可能性的大小
- 小学英语单词
- 冀教版小学数学二年级下册第二单元《余数和除数的关系》
- 化学九年级下册全册同步 人教版 第18集 常见的酸和碱（二）
- 化学九年级下册全册同步 人教版 第25集 生活中常见的盐（二）
- 【部编】人教版语文七年级下册《过松源晨炊漆公店（其五）》优质课教学视频+PPT课件+教案，江苏省
- 苏科版八年级数学下册7.2《统计图的选用》
- 青岛版教材五年级下册第四单元（走进军营——方向与位置）用数对确定位置（一等奖）
- 外研版英语七年级下册module3 unit2第二课时
- 3.2 数学二年级下册第二单元 表内除法（一）整理和复习 李菲菲
- 外研版英语三起5年级下册（14版）Module3 Unit2
- 三年级英语单词记忆下册（沪教版）第一二单元复习
- 冀教版英语三年级下册第二课
- 沪教版牛津小学英语（深圳用） 四年级下册 Unit 12
- 沪教版牛津小学英语（深圳用） 四年级下册 Unit 7
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案，天津市
- 冀教版小学英语五年级下册lesson2教学视频(2)
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
- 沪教版八年级下册数学练习册一次函数复习题B组（P11）
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题（含答案）
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理