教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> IT计算机> 并行计算/云计算> 稀疏化相似矩阵并行分析及MapReduce并行实现

稀疏化相似矩阵并行分析及MapReduce并行实现

上传者:孙中
|
上传时间:2015-05-04
|
次下载

稀疏化相似矩阵并行分析及MapReduce并行实现



(2)基于Hadoop MapReduce 并行优化算法性能:目前,基于Hadoop MapReduce 并行计算
近似谱聚类算法研究刚起步,国内外学者基于Hadoop MapReduce 并行计算主要侧重于优化
聚类算法性能,提高聚类算法的加速比与可扩展性,以解决不能求解海量算数据聚类问题。
研究 k-means 聚类算法特点,为获得加速比与扩展性,利用 MapReduce 并行化后部署到
Hadoop 集群运行[50]与利用Hadoop 集群Mapreduce 编程模型实现k-means 聚类算法降低大
数据聚类的时间复杂度[51],以及利用 Combine 函数减少网络流量改进基于 MapReduce 传
统的并行k-means 聚类算法,用以分析和挖掘海量数据[52];Plaza 等人[53]结合高光谱图像
中空间和谱信息,在基于商业用途的集群上(包括高性能并行计算体系结构:欧洲巴塞罗那
并行计算中心的分布式存储、多指令多数据的多机组等)并行化使用多信道波形变换的无监
督技术提出并行数据分析策略;Lv Z等人[54]基于MapReduce 并行编程模型并行k-means 聚
类算法聚类远程传感图像。
文献[55]是该领域的理论专著,文献[56]和[57]分别是 MapReduce 并行大规模高维数据集研
究的专著和最新的云计算分布式并行研究专著。目前,国内外基于Hadoop MapReduce 并行
聚类与谱聚类算法研究都处于刚起步状况,其发展趋势:向并行大规模高维数据的近似谱聚
类方向发展。
第三节 论文工作量及主要贡献
本文在确保谱聚类聚类质量(或准确性)的前提下,为聚类大规模高维数据,对 k-means
聚类中心初始化位置选择、距离相似度近似法、相似矩阵稀疏化方法、拉普拉斯矩阵特征向
量分解、k-means 聚类算法以及Apache Hadoop 系统MapReduce 并行框架进行了深入研究,
介绍了谱聚类算法及其近似法研究现状,此外,简单介绍了基于Hadoop MapReduce 谱聚类
的发展趋势,Hadoop MapReduce 平台架构与编程模型等,并从以下三个方面开展了相关研
究工作。
一、稀疏化相似矩阵并行分析及MapReduce 并行实现
相似矩阵中元素直接决定谱图矩阵中元素的构成,因此影响谱聚类准确性。基于国内外研究
现状及发展趋势,本文在前人研究基础上,提出一种新的相似矩阵优化法---使用 稀疏化
Euclidean 距离矩阵并调整为对称矩阵后,对相似矩阵列向量的离群点进行优化,并在优化
引理的前提下理论证明该方法最优解的存在,并说明其时间复杂度。论文使用该方法应用于
构建相似矩阵并基于Hadoop 集群系统下MapReduce 并行编程框架,对上述优化后的稀疏相
似矩阵进行并行算法设计与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行
前后稀疏化近似相似矩阵的时间复杂度,以及通过大规模高维数据实验验证所设计的
Hadoop MapReduce 并行算法加速比,使用实验结果阐述应用该方法的ASC 并行后的性能。
二、特征向量分解并行分析及MapReduce 并行实现
相对于聚类而言谱聚类必须对拉普拉斯矩阵进行特征向量分解,否则,得不到数据集的低阶
表示,即维简约。谱聚类算法时间复杂度 正是由于其特征分解过程所产生的。针对大规模
数据集而言,从理论分析可得出:k-means 聚类的时间杂度( )相对于拉普拉斯矩阵特征
向量分解几乎可忽略不计。因此,本文在前人研究基于MapReduce 编程框架Tall and Skinny
QR 矩阵分解[58]的基础上对其进行修改,使其能够计算由近似相似矩阵求得的近似拉普拉
斯近似矩阵的特征向量分解。并设计基于Hadoop 集群系统下MapReduce 并行编程框架的 并
行算法与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行前后特征向量分解
的时间复杂度,以及通过大规模高维数据实验验证所设计的Hadoop MapReduce 并行算法加
速比,使用实验结果阐述应用该设计的ASC 并行后的性能。
三、k-means 聚类算法并行分析及MapReduce 并行实现
k-means 聚类中心初始化位置决定其算法收敛时迭代次数,直接影响谱聚类计算时间。基于
国内外研究现状及发展趋势,本文基于Hadoop 集群系统下MapReduce 并行编程框架对适合

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

(空白)材料购销合同
颜真卿Word
全人医治遇见上帝特会:第三课Word
中班音乐冲锋枪Word
“两学一做”先进事迹材料:做真抓实干,默默奉献的好老师
雁鸣湖冒险王推广思路Word
东佳国际英语英语培训经历
2017年法宣在线必考内容试题题库及答案(完整版)(1)
论阿尔都塞哲学研究的立足点
2016英文多彩清新商务季度汇报模板Word
第6章 人力资源招聘方式Word
义务消防员培训内容Word
青海省一级建造师《工程经济》:会计核算的基本前提考试题答案
第七届全国青少年信息学奥林匹克分区联赛试题(普及组PASCAL)答案
“教学管理模式的创新研究与实践”课题实施方案
元素周期律课时作业答案
“师恩难忘”诗歌朗诵比赛预、决赛活动方案
信号交叉口多左转车道交通流特性研究
佛山农商银行大厦副楼可行性研究报告-广州中撰咨询
“北派名师”观摩课学习心得
“我为党旗添光彩”演讲比赛感悟
佛山清远从化高速公路南段可行性研究报告-广州中撰咨询
全人医治遇见上帝特会:第二课Word
祭奠岳父悼词
第一章 经济法的基本理论Word
扁平多图表清新四色商务Word模板
青海省年注册会计师考试《审计》:审计工作底稿的归档模拟试题答案
“圆梦寒假公益课外文化辅导班”心得体会
“两学一做”学习教育第二次集中研讨交流会发言稿
第3章 运输问题-研究生Word

网友关注视频

三年级英语单词记忆下册(沪教版)第一二单元复习
沪教版八年级下册数学练习册一次函数复习题B组(P11)
外研版英语七年级下册module3 unit2第一课时
外研版英语七年级下册module1unit3名词性物主代词讲解
沪教版牛津小学英语(深圳用) 五年级下册 Unit 12
化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
外研版英语三起6年级下册(14版)Module3 Unit1
冀教版小学数学二年级下册第二周第2课时《我们的测量》宝丰街小学庞志荣.mp4
苏科版数学 八年级下册 第八章第二节 可能性的大小
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,天津市
北师大版数学四年级下册3.4包装
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
冀教版小学数学二年级下册第二单元《余数和除数的关系》
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
沪教版牛津小学英语(深圳用) 四年级下册 Unit 12
七年级下册外研版英语M8U2reading
外研版英语三起6年级下册(14版)Module3 Unit2
化学九年级下册全册同步 人教版 第18集 常见的酸和碱(二)
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T3763925
苏教版二年级下册数学《认识东、南、西、北》
冀教版小学数学二年级下册1
七年级英语下册 上海牛津版 Unit9
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
人教版二年级下册数学
六年级英语下册上海牛津版教材讲解 U1单词