教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> IT计算机> 服务器> Apache Hadoop社区聚焦Apache MapReduce

Apache Hadoop社区聚焦Apache MapReduce

上传者:宋轶群
|
上传时间:2015-04-21
|
次下载

Apache Hadoop社区聚焦Apache MapReduce



2012 年 11 月
Apache Hadoop* 社区聚焦
Apache* MapReduce
Devaraj Das 介绍了一种强大的大数据集并行处理模型 — Apache* MapReduce,它
同时也是您的 Apache Hadoop* 系统的核心。Devaraj 是 Apache Hadoop 项目的项
目管理委员会成员,Apache Hadoop 分布式文件系统(HDFS*)、MapReduce 和
Hcatalog 的委员,同时也是 Apache HBase* 数据库程序的贡献者。此外,他还是
Hortonworks 的共同创办人及技术成员之一。
Apache MapReduce:看似简单
Apache MapReduce 是一种编程模型,可提供并行处理大数据集
所需的高度可扩展性。MapReduce 最初在谷歌得到运用,目前
与实用程序层的 HDFS 和 Hadoop* Common 一起构成了开放源代
码 Apache Hadoop 框架的核心部件。其它 Apache Hadoop 系统组
件,例如 Apache Pig* 数据流语言和 Apache Hive* 数据仓库基础设
施,在数据处理之前均使用 MapReduce 进行前端数据集转换。
MapReduce 程序或作业运行在 Hadoop 集群的数百甚至数千台
服务器上,执行两个基本任务:
? 映射。HDFS 中的大数据集被转化为键值对,并均匀地分布
在集群上。
? 化简。映射任务的结果成为化简任务的输入,并结合到更小
的键值对中,来创建最终输出。
当在提供高汇聚 I/O 的集群上对 MapReduce 与 HDFS 进行配对
时,可借助高吞吐率高效地处理大数据集。
主从架构
MapReduce 采用主从架构。运行在单个节点或服务器上的
JobTracker 是主程序。运行在系统中其它节点之上的 TaskTrackers
是从程序。客户端向 MapReduce 框架提交作业。JobTracker 把它
分解为多项任务,并建立所需的数据结构,以跨整个集群并行
运行作业。工作分配给最近的、可用的 TaskTracker,后者将数
据输入映射并“洗牌”到特定的化简任务,且在此创建输出。
这种“数据局部性”是 MapReduce 框架的关键设计标准。它通
过存储并处理相同位置的数据支持较大数据集的高效吞吐。
“这种‘数据局部性’是 MapReduce 框架的关键设计标
准。它通过存储并处理相同位置的数据支持较大数据集
的高效吞吐。”
— Devaraj Das
确保大作业继续:容错
Apache* MapReduce 具有容错功能。在大型集群中,节点可
能会定期发生故障。当一个节点上的任务处理发生故障时,
MapReduce 会自动在另一节点上重新执行该任务。即使在发
生重要集群负载损耗时,作业也可继续运行。

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

第一部分 临床医学专业造就请求[精品]
[精华]临床医学职业计划
ASO Development for Individuals with DevelopmentalIntellectual
兰州大学 临床医学专业人才造就计划[宝典]
四川大学华西临床医学院精神病学教研室(可编辑)
[资料]临床医学专业(美容偏向)2010-2014学科培植
临床医学工程技巧专业测验纲目[指南]
临床医学备考:特发性血小板减少性紫癜(2)
[精品]安徽医科大学临床医学硕士专业学位实施细则
抗体芯片技术及其在肿瘤研究中的进展
临床医学论文的写作技能
双腺病毒介导的trail基因治疗肿瘤的体外实验研究
卒中生物标志物进展
[精品]安徽医科大学临床医学硕士专业学位实施细则
习题集第20讲美容心理学(二)答案
老年精神病人的饮食护理
临床医学备考:特发性血小板减少性紫癜(1)
临床医学备考:新生儿的护理(2)
核医学临床技术 操作规范
【临床医学】功能失调性子宫出血(华克勤)
[临床医学]禽流感CT表现
第一章食管癌
内科外科歌诀170412295
筋膜汇集区穴位的ct影像学研究及其对经筋疗法的启示
2015年深圳事业单位考试临床病理科笔试大纲
自噬在调控抗肿瘤药物耐药中的进展
临床医学备考:新生儿窒息的临床表现
[优质文档]12级用 临床医学认证考题答案
sox2参与恶性肿瘤生物学行为调控的研究进展
光声肿瘤分子成像方法与技术研究

网友关注视频

飞翔英语—冀教版(三起)英语三年级下册Lesson 2 Cats and Dogs
沪教版牛津小学英语(深圳用) 四年级下册 Unit 7
外研版英语三起5年级下册(14版)Module3 Unit2
河南省名校课堂七年级下册英语第一课(2020年2月10日)
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
七年级英语下册 上海牛津版 Unit9
冀教版小学数学二年级下册第二单元《余数和除数的关系》
青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
苏科版数学 八年级下册 第八章第二节 可能性的大小
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
人教版二年级下册数学
冀教版小学数学二年级下册第二单元《租船问题》
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,辽宁省
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
二年级下册数学第三课 搭一搭⚖⚖
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
人教版历史八年级下册第一课《中华人民共和国成立》
《空中课堂》二年级下册 数学第一单元第1课时
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
二年级下册数学第一课
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
冀教版英语三年级下册第二课
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,天津市
三年级英语单词记忆下册(沪教版)第一二单元复习
苏科版数学七年级下册7.2《探索平行线的性质》
第8课 对称剪纸_第一课时(二等奖)(沪书画版二年级上册)_T3784187
8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
沪教版八年级下册数学练习册20.4(2)一次函数的应用2P8