教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> 办公文档> 会议纪要> Yarns about YARN:Migrating to MapReduce v2

Yarns about YARN:Migrating to MapReduce v2

上传者:孙逢玖
|
上传时间:2015-04-24
|
次下载

Yarns about YARN:Migrating to MapReduce v2



?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container
Container
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container Container
Container Container Container
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?$ spark-submit pi.py –master yarn-client
?
?$ spark-submit --master yarn-client pi.py 1000
?
spark-submit [options] [app options]
?
?
$ spark-submit --master yarn-cluster pi.py 1000
Error: Cluster deploy mode is currently not
supported for python applications.
Run with --help for usage help or --verbose for
debug output
?
$ spark-submit --master yarn-client pi.py 1000

Pi is roughly 3.132290
15/02/11 09:41:34 INFO SparkUI: Stopped Spark web UI
at http://wendang.chazidian.com:4040
15/02/11 09:41:34 INFO DAGScheduler: Stopping
DAGScheduler
?
? Symptom:
? Spark Driver WARN Messages
14/12/08 17:11:08 WARN scheduler.TaskSetManager: Lost task 205.0 in
stage 2.0 (TID 352, http://wendang.chazidian.com: ExecutorLostFailure (executor
lost)
? NodeManager Logs
2014-12-08 17:10:32,860 WARN org.apache.hadoop.yarn.server.nodemanager.
containermanager.monitor.ContainersMonitorImpl: Container
[pid=26842,containerID=container_1418059756626_0010_01_000093_01]
is running beyond physical memory limits.
Current usage: 26.2 GB of 26 GB physical memory used;
27.1 GB of 54.6 GB virtual memory used. Killing container.
? Workaround:
?Increase
spark.yarn.[executor|driver].memoryOverhead
? Test for your specific use case. 1GB to 4GB
? Spark 1.2 / CDH 5.3 : Prefer RDDs that are cached locally in HDFS
? Spark 1.2 : Dynamically release unused resources via spark.
dynamicAllocation.enabled
? Only support via YARN currently.
? Spark Streaming save incoming data to a WAL (write-ahead log) on HDFS,
preventing any data loss on driver failure.
?
?
?
?
?
?
?
? spark.shuffle.consolidateFiles=true
? spark.yarn.executor.memoryOverhead
? spark.yarn.driver.memoryOverhead
? spark.shuffle.manager=SORT
? http://www.wend angxiazai.compress=true
? spark.serializer=org.apache.spark.serializer.KryoSerializer
YARN Mesos
Asks for resources Offers resources
Evolved into a resource manager Evolved into managing Hadoop
Written in Java Written in C++
Locality aware More customizable

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注视频

第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
冀教版小学数学二年级下册第二单元《租船问题》
外研版英语三起5年级下册(14版)Module3 Unit1
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
七年级英语下册 上海牛津版 Unit5
外研版英语七年级下册module3 unit2第一课时
8 随形想象_第一课时(二等奖)(沪教版二年级上册)_T3786594
二年级下册数学第二课
三年级英语单词记忆下册(沪教版)第一二单元复习
苏教版二年级下册数学《认识东、南、西、北》
化学九年级下册全册同步 人教版 第25集 生活中常见的盐(二)
《空中课堂》二年级下册 数学第一单元第1课时
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
沪教版牛津小学英语(深圳用) 四年级下册 Unit 3
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
河南省名校课堂七年级下册英语第一课(2020年2月10日)
北师大版数学四年级下册第三单元第四节街心广场
人教版历史八年级下册第一课《中华人民共和国成立》
3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
沪教版牛津小学英语(深圳用) 四年级下册 Unit 12
二年级下册数学第三课 搭一搭⚖⚖
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
七年级英语下册 上海牛津版 Unit9