Yarns about YARN:Migrating to MapReduce v2
上传者:孙逢玖|上传时间:2015-04-24|密次下载
Yarns about YARN:Migrating to MapReduce v2
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container
Container
?
?
?
?
?
?
?
?
?
?
?
?
?
Container Container Container
Container Container Container
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?$ spark-submit pi.py –master yarn-client
?
?$ spark-submit --master yarn-client pi.py 1000
?
spark-submit [options]
?
?
$ spark-submit --master yarn-cluster pi.py 1000
Error: Cluster deploy mode is currently not
supported for python applications.
Run with --help for usage help or --verbose for
debug output
?
$ spark-submit --master yarn-client pi.py 1000
…
Pi is roughly 3.132290
15/02/11 09:41:34 INFO SparkUI: Stopped Spark web UI
at http://wendang.chazidian.com:4040
15/02/11 09:41:34 INFO DAGScheduler: Stopping
DAGScheduler
?
? Symptom:
? Spark Driver WARN Messages
14/12/08 17:11:08 WARN scheduler.TaskSetManager: Lost task 205.0 in
stage 2.0 (TID 352, http://wendang.chazidian.com: ExecutorLostFailure (executor
lost)
? NodeManager Logs
2014-12-08 17:10:32,860 WARN org.apache.hadoop.yarn.server.nodemanager.
containermanager.monitor.ContainersMonitorImpl: Container
[pid=26842,containerID=container_1418059756626_0010_01_000093_01]
is running beyond physical memory limits.
Current usage: 26.2 GB of 26 GB physical memory used;
27.1 GB of 54.6 GB virtual memory used. Killing container.
? Workaround:
?Increase
spark.yarn.[executor|driver].memoryOverhead
? Test for your specific use case. 1GB to 4GB
? Spark 1.2 / CDH 5.3 : Prefer RDDs that are cached locally in HDFS
? Spark 1.2 : Dynamically release unused resources via spark.
dynamicAllocation.enabled
? Only support via YARN currently.
? Spark Streaming save incoming data to a WAL (write-ahead log) on HDFS,
preventing any data loss on driver failure.
?
?
?
?
?
?
?
? spark.shuffle.consolidateFiles=true
? spark.yarn.executor.memoryOverhead
? spark.yarn.driver.memoryOverhead
? spark.shuffle.manager=SORT
? http://www.wend
angxiazai.compress=true
? spark.serializer=org.apache.spark.serializer.KryoSerializer
YARN Mesos
Asks for resources Offers resources
Evolved into a resource manager Evolved into managing Hadoop
Written in Java Written in C++
Locality aware More customizable
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 【精品】2011年度上海市文明示范工程、上海市文明示范 工地和上海市文明...60
- 立体生态农业生产示范基地项目可行性建议书(可编辑)
- 全国高职高专教育师资培训基地黑龙江农业工程职业...
- 专业工程分包协议书(示范文本)
- 清华大学国学管理研究生课程进修项目~[doc]
- (最新)庆典邀请函范文
- 国家政策对咨询服务合同书
- 2014济南长清区事业单位招聘报名条件
- 《1月预备党员思想汇报范文》等25篇入党思想汇报范文合集814
- 南康市招标投标中心
- 《前期物业服务合同》示范文本
- 商务信函样本[指南]
- 生态茶园示范基地建设项目申报书(可编辑)
- 上海市餐饮服务许可证申请书
- 高中地理教学心得体会
- 设计深度规定
- 2014年招收初中毕业生的五年制高职招生计划及专业介绍
- 投标文件(技术标)产业化示范工程钢结构
- 国际商会销售代理合同(示范文本)
- 入党思想汇报好的片段
- 爱心助学行动倡议书
- (精选)前期物业服务合同(示范文本)
- 重庆市计算机信息系统集成合同示范文本(标准版)
- 2011商品房买卖合同示范文本解读
- 路翔股份有限公司关于签订重大投资协议的公告
- 预备党员思想汇报范文合集
- 建设工程施工专业分包合同示范文本38315509
- 上海市经济适用住房出售合同示范文本
- 建设工程设计合同(示范文本)(专业建设工程)
- 3605635792014年建设工程施工招标文件(示范本·第一次修订版)(上网版)
网友关注视频
- 苏教版二年级下册数学《认识东、南、西、北》
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
- 第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
- 七年级下册外研版英语M8U2reading
- 沪教版牛津小学英语(深圳用)五年级下册 Unit 1
- 冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
- 河南省名校课堂七年级下册英语第一课(2020年2月10日)
- 二年级下册数学第三课 搭一搭⚖⚖
- 北师大版数学 四年级下册 第三单元 第二节 小数点搬家
- 北师大版数学四年级下册3.4包装
- 第4章 幂函数、指数函数和对数函数(下)_六 指数方程和对数方程_4.7 简单的指数方程_第一课时(沪教版高一下册)_T1566237
- 第19课 我喜欢的鸟_第一课时(二等奖)(人美杨永善版二年级下册)_T644386
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
- 苏科版八年级数学下册7.2《统计图的选用》
- 小学英语单词
- 沪教版八年级下册数学练习册21.4(1)无理方程P18
- 北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 8
- 【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,辽宁省
- 19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
- 苏科版数学七年级下册7.2《探索平行线的性质》
- 冀教版小学数学二年级下册第二单元《有余数除法的简单应用》
- 冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
- 三年级英语单词记忆下册(沪教版)第一二单元复习
- 8.练习八_第一课时(特等奖)(苏教版三年级上册)_T142692
- 每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感?
- 二次函数求实际问题中的最值_第一课时(特等奖)(冀教版九年级下册)_T144339
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理