教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> 办公文档> 会议纪要> Yarns about YARN:Migrating to MapReduce v2

Yarns about YARN:Migrating to MapReduce v2

上传者:孙逢玖
|
上传时间:2015-04-24
|
次下载

Yarns about YARN:Migrating to MapReduce v2



?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container
Container
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container Container
Container Container Container
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?$ spark-submit pi.py –master yarn-client
?
?$ spark-submit --master yarn-client pi.py 1000
?
spark-submit [options] [app options]
?
?
$ spark-submit --master yarn-cluster pi.py 1000
Error: Cluster deploy mode is currently not
supported for python applications.
Run with --help for usage help or --verbose for
debug output
?
$ spark-submit --master yarn-client pi.py 1000

Pi is roughly 3.132290
15/02/11 09:41:34 INFO SparkUI: Stopped Spark web UI
at http://wendang.chazidian.com:4040
15/02/11 09:41:34 INFO DAGScheduler: Stopping
DAGScheduler
?
? Symptom:
? Spark Driver WARN Messages
14/12/08 17:11:08 WARN scheduler.TaskSetManager: Lost task 205.0 in
stage 2.0 (TID 352, http://wendang.chazidian.com: ExecutorLostFailure (executor
lost)
? NodeManager Logs
2014-12-08 17:10:32,860 WARN org.apache.hadoop.yarn.server.nodemanager.
containermanager.monitor.ContainersMonitorImpl: Container
[pid=26842,containerID=container_1418059756626_0010_01_000093_01]
is running beyond physical memory limits.
Current usage: 26.2 GB of 26 GB physical memory used;
27.1 GB of 54.6 GB virtual memory used. Killing container.
? Workaround:
?Increase
spark.yarn.[executor|driver].memoryOverhead
? Test for your specific use case. 1GB to 4GB
? Spark 1.2 / CDH 5.3 : Prefer RDDs that are cached locally in HDFS
? Spark 1.2 : Dynamically release unused resources via spark.
dynamicAllocation.enabled
? Only support via YARN currently.
? Spark Streaming save incoming data to a WAL (write-ahead log) on HDFS,
preventing any data loss on driver failure.
?
?
?
?
?
?
?
? spark.shuffle.consolidateFiles=true
? spark.yarn.executor.memoryOverhead
? spark.yarn.driver.memoryOverhead
? spark.shuffle.manager=SORT
? http://www.wend angxiazai.compress=true
? spark.serializer=org.apache.spark.serializer.KryoSerializer
YARN Mesos
Asks for resources Offers resources
Evolved into a resource manager Evolved into managing Hadoop
Written in Java Written in C++
Locality aware More customizable

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

【精品】2011年度上海市文明示范工程、上海市文明示范 工地和上海市文明...60
立体生态农业生产示范基地项目可行性建议书(可编辑)
全国高职高专教育师资培训基地黑龙江农业工程职业...
专业工程分包协议书(示范文本)
清华大学国学管理研究生课程进修项目~[doc]
(最新)庆典邀请函范文
国家政策对咨询服务合同书
2014济南长清区事业单位招聘报名条件
《1月预备党员思想汇报范文》等25篇入党思想汇报范文合集814
南康市招标投标中心
《前期物业服务合同》示范文本
商务信函样本[指南]
生态茶园示范基地建设项目申报书(可编辑)
上海市餐饮服务许可证申请书
高中地理教学心得体会
设计深度规定
2014年招收初中毕业生的五年制高职招生计划及专业介绍
投标文件(技术标)产业化示范工程钢结构
国际商会销售代理合同(示范文本)
入党思想汇报好的片段
爱心助学行动倡议书
(精选)前期物业服务合同(示范文本)
重庆市计算机信息系统集成合同示范文本(标准版)
2011商品房买卖合同示范文本解读
路翔股份有限公司关于签订重大投资协议的公告
预备党员思想汇报范文合集
建设工程施工专业分包合同示范文本38315509
上海市经济适用住房出售合同示范文本
建设工程设计合同(示范文本)(专业建设工程)
3605635792014年建设工程施工招标文件(示范本·第一次修订版)(上网版)

网友关注视频

苏教版二年级下册数学《认识东、南、西、北》
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
七年级下册外研版英语M8U2reading
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
河南省名校课堂七年级下册英语第一课(2020年2月10日)
二年级下册数学第三课 搭一搭⚖⚖
北师大版数学 四年级下册 第三单元 第二节 小数点搬家
北师大版数学四年级下册3.4包装
第4章 幂函数、指数函数和对数函数(下)_六 指数方程和对数方程_4.7 简单的指数方程_第一课时(沪教版高一下册)_T1566237
第19课 我喜欢的鸟_第一课时(二等奖)(人美杨永善版二年级下册)_T644386
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
苏科版八年级数学下册7.2《统计图的选用》
小学英语单词
沪教版八年级下册数学练习册21.4(1)无理方程P18
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,辽宁省
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
苏科版数学七年级下册7.2《探索平行线的性质》
冀教版小学数学二年级下册第二单元《有余数除法的简单应用》
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
三年级英语单词记忆下册(沪教版)第一二单元复习
8.练习八_第一课时(特等奖)(苏教版三年级上册)_T142692
每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感?
二次函数求实际问题中的最值_第一课时(特等奖)(冀教版九年级下册)_T144339
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省