Yarns about YARN:Migrating to MapReduce v2
上传者:孙逢玖|上传时间:2015-04-24|密次下载
Yarns about YARN:Migrating to MapReduce v2
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container
Container
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container Container
Container Container Container
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?$ spark-submit pi.py –master yarn-client
?
?$ spark-submit --master yarn-client pi.py 1000
?
spark-submit [options]
?
?
$ spark-submit --master yarn-cluster pi.py 1000
Error: Cluster deploy mode is currently not
supported for python applications.
Run with --help for usage help or --verbose for
debug output
?
$ spark-submit --master yarn-client pi.py 1000
…
Pi is roughly 3.132290
15/02/11 09:41:34 INFO SparkUI: Stopped Spark web UI
at http://wendang.chazidian.com:4040
15/02/11 09:41:34 INFO DAGScheduler: Stopping
DAGScheduler
?
? Symptom:
? Spark Driver WARN Messages
14/12/08 17:11:08 WARN scheduler.TaskSetManager: Lost task 205.0 in
stage 2.0 (TID 352, http://wendang.chazidian.com: ExecutorLostFailure (executor
lost)
? NodeManager Logs
2014-12-08 17:10:32,860 WARN org.apache.hadoop.yarn.server.nodemanager.
containermanager.monitor.ContainersMonitorImpl: Container
[pid=26842,containerID=container_1418059756626_0010_01_000093_01]
is running beyond physical memory limits.
Current usage: 26.2 GB of 26 GB physical memory used;
27.1 GB of 54.6 GB virtual memory used. Killing container.
? Workaround:
?Increase
spark.yarn.[executor|driver].memoryOverhead
? Test for your specific use case. 1GB to 4GB
? Spark 1.2 / CDH 5.3 : Prefer RDDs that are cached locally in HDFS
? Spark 1.2 : Dynamically release unused resources via spark.
dynamicAllocation.enabled
? Only support via YARN currently.
? Spark Streaming save incoming data to a WAL (write-ahead log) on HDFS,
preventing any data loss on driver failure.
?
?
?
?
?
?
?
? spark.shuffle.consolidateFiles=true
? spark.yarn.executor.memoryOverhead
? spark.yarn.driver.memoryOverhead
? spark.shuffle.manager=SORT
? http://www.wend
angxiazai.compress=true
? spark.serializer=org.apache.spark.serializer.KryoSerializer
YARN Mesos
Asks for resources Offers resources
Evolved into a resource manager Evolved into managing Hadoop
Written in Java Written in C++
Locality aware More customizable
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 元认知策略与高中生英语听力能力的相关性研究
- 系列讲座——口语交际【精品资料】
- 语言焦虑对初中英语听力理解影响研究
- 谈英语学习
- [指南]造纸专业词典B系列
- 任务型教学模式在初中英语听力教学中的应用
- 英语六级写作考试常用词汇---连词篇
- 《新编简明英语语言学教程》学习手册
- 中学生英语学习常见错误一览表
- 如何有效提高高中学生英语听力
- 浅析中学英语听力训练
- 零基础英语学习网站
- 大学英语四级考试分类测试——听力理解 宋健军 东北大学出版社(可编辑)
- 探析牛津高中英语听力教学方法
- 职称英语学习的好帮手
- 初中英语听力训练策略
- 英语学习方法
- 中考英语听力突破的5大技巧
- 通过元认知策略培训提高大学非英语专业学生英语听力能力的研究
- 英语听力常见问题
- 英语零基础学习教材
- 通过Phonics教学增强小学生英语学习自信心的行动研究
- [整理版]若何提高英语听力81599
- 一个人练习口语的经典办法(宁波英语口语)
- BBC英语听力音频打包下载地址
- 在线电话英语学习最新资料汇总(名师详解)
- 美国英语口语教父——新东方王强老师和网友交谈录
- [资料]物理学英语词汇
- 高中学生英语听力能力提升策略分析[文档资料]
- 冶金英文意大利文对照小词典
网友关注视频
- 第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T3751175
- 冀教版小学数学二年级下册第二单元《租船问题》
- 外研版英语三起5年级下册(14版)Module3 Unit1
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣
- 19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
- 第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
- 七年级英语下册 上海牛津版 Unit5
- 外研版英语七年级下册module3 unit2第一课时
- 8 随形想象_第一课时(二等奖)(沪教版二年级上册)_T3786594
- 二年级下册数学第二课
- 三年级英语单词记忆下册(沪教版)第一二单元复习
- 苏教版二年级下册数学《认识东、南、西、北》
- 化学九年级下册全册同步 人教版 第25集 生活中常见的盐(二)
- 《空中课堂》二年级下册 数学第一单元第1课时
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
- 30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 3
- 冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
- 河南省名校课堂七年级下册英语第一课(2020年2月10日)
- 北师大版数学四年级下册第三单元第四节街心广场
- 人教版历史八年级下册第一课《中华人民共和国成立》
- 3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 12
- 二年级下册数学第三课 搭一搭⚖⚖
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
- 七年级英语下册 上海牛津版 Unit9
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理