教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> IT计算机> 并行计算/云计算> 稀疏化相似矩阵并行分析及MapReduce并行实现

稀疏化相似矩阵并行分析及MapReduce并行实现

上传者:孙中
|
上传时间:2015-05-04
|
次下载

稀疏化相似矩阵并行分析及MapReduce并行实现



(2)基于Hadoop MapReduce 并行优化算法性能:目前,基于Hadoop MapReduce 并行计算
近似谱聚类算法研究刚起步,国内外学者基于Hadoop MapReduce 并行计算主要侧重于优化
聚类算法性能,提高聚类算法的加速比与可扩展性,以解决不能求解海量算数据聚类问题。
研究 k-means 聚类算法特点,为获得加速比与扩展性,利用 MapReduce 并行化后部署到
Hadoop 集群运行[50]与利用Hadoop 集群Mapreduce 编程模型实现k-means 聚类算法降低大
数据聚类的时间复杂度[51],以及利用 Combine 函数减少网络流量改进基于 MapReduce 传
统的并行k-means 聚类算法,用以分析和挖掘海量数据[52];Plaza 等人[53]结合高光谱图像
中空间和谱信息,在基于商业用途的集群上(包括高性能并行计算体系结构:欧洲巴塞罗那
并行计算中心的分布式存储、多指令多数据的多机组等)并行化使用多信道波形变换的无监
督技术提出并行数据分析策略;Lv Z等人[54]基于MapReduce 并行编程模型并行k-means 聚
类算法聚类远程传感图像。
文献[55]是该领域的理论专著,文献[56]和[57]分别是 MapReduce 并行大规模高维数据集研
究的专著和最新的云计算分布式并行研究专著。目前,国内外基于Hadoop MapReduce 并行
聚类与谱聚类算法研究都处于刚起步状况,其发展趋势:向并行大规模高维数据的近似谱聚
类方向发展。
第三节 论文工作量及主要贡献
本文在确保谱聚类聚类质量(或准确性)的前提下,为聚类大规模高维数据,对 k-means
聚类中心初始化位置选择、距离相似度近似法、相似矩阵稀疏化方法、拉普拉斯矩阵特征向
量分解、k-means 聚类算法以及Apache Hadoop 系统MapReduce 并行框架进行了深入研究,
介绍了谱聚类算法及其近似法研究现状,此外,简单介绍了基于Hadoop MapReduce 谱聚类
的发展趋势,Hadoop MapReduce 平台架构与编程模型等,并从以下三个方面开展了相关研
究工作。
一、稀疏化相似矩阵并行分析及MapReduce 并行实现
相似矩阵中元素直接决定谱图矩阵中元素的构成,因此影响谱聚类准确性。基于国内外研究
现状及发展趋势,本文在前人研究基础上,提出一种新的相似矩阵优化法---使用 稀疏化
Euclidean 距离矩阵并调整为对称矩阵后,对相似矩阵列向量的离群点进行优化,并在优化
引理的前提下理论证明该方法最优解的存在,并说明其时间复杂度。论文使用该方法应用于
构建相似矩阵并基于Hadoop 集群系统下MapReduce 并行编程框架,对上述优化后的稀疏相
似矩阵进行并行算法设计与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行
前后稀疏化近似相似矩阵的时间复杂度,以及通过大规模高维数据实验验证所设计的
Hadoop MapReduce 并行算法加速比,使用实验结果阐述应用该方法的ASC 并行后的性能。
二、特征向量分解并行分析及MapReduce 并行实现
相对于聚类而言谱聚类必须对拉普拉斯矩阵进行特征向量分解,否则,得不到数据集的低阶
表示,即维简约。谱聚类算法时间复杂度 正是由于其特征分解过程所产生的。针对大规模
数据集而言,从理论分析可得出:k-means 聚类的时间杂度( )相对于拉普拉斯矩阵特征
向量分解几乎可忽略不计。因此,本文在前人研究基于MapReduce 编程框架Tall and Skinny
QR 矩阵分解[58]的基础上对其进行修改,使其能够计算由近似相似矩阵求得的近似拉普拉
斯近似矩阵的特征向量分解。并设计基于Hadoop 集群系统下MapReduce 并行编程框架的 并
行算法与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行前后特征向量分解
的时间复杂度,以及通过大规模高维数据实验验证所设计的Hadoop MapReduce 并行算法加
速比,使用实验结果阐述应用该设计的ASC 并行后的性能。
三、k-means 聚类算法并行分析及MapReduce 并行实现
k-means 聚类中心初始化位置决定其算法收敛时迭代次数,直接影响谱聚类计算时间。基于
国内外研究现状及发展趋势,本文基于Hadoop 集群系统下MapReduce 并行编程框架对适合

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注

吴国平老师对中考数学反比例函数的考点讲解
小五语文:《“精彩极了”和“糟糕透了”》教学设计
2017年高考语文一轮复习考点规范练8:实用类、论述类文本阅读(一)(苏教版)
中学语文五大语法讲解
高中数学第1章集合与逻辑教材分析
江西省宜春市第三中学2016-2017学年高三上学期历史期中考试试卷
2017高考历史备考:历史复习提纲整理
2017年高考语文一轮复习考点规范练1:现代汉语普通话常用字字音的识记(苏教版)
广东省东莞市中堂星晨学校2016-2017学年第一学期期中自查七年级地理试卷
中考英语分类复习:并列连词(解析)
高一英语知识点:语法讲解
2017高考物理复习常见问题解答整理
广东省东莞市中堂星晨学校2016-2017学年第一学期期中自查八年级语文试卷
政治中考时事热点:神一到神十的回顾
共青团内蒙古大学委员会:2015—2016学年团员获奖名单
2017年高考语文一轮复习考点规范练9:实用类、论述类文本阅读(二)(苏教版)
中考英语分类复习:不定代词(解析)
黑龙江省牡丹江市第一高级中学2016—2017学年度上学期期中考试高三历史试题
初一地理上册知识点学习2:陆地和海洋
广东省韶关市六校2017届高三10月联考文科综合试卷历史部分
思修实验“我与国魂有个约定”报告
吴国平:中考数学几何的重难点-相似三角形详解
北师大版《乌鸦喝水》教案及反思
如何让小朋友开始尝试英文写作
初中语文古诗词名句及其解析
广东省揭阳市揭西县第三华侨中学2016-2017学年八年级上学期期中考试语文科试卷
2017年高考语文一轮复习考点规范练6:句式的选用、仿用和变换(含修辞)(苏教版)
中学化学方程式的记忆法
高中历史:中国近代的不平等条约的记忆方法
2017小升初考试数学知识点梳理

网友关注视频

【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
二年级下册数学第一课
外研版英语七年级下册module3 unit2第一课时
七年级英语下册 上海牛津版 Unit9
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,辽宁省
飞翔英语—冀教版(三起)英语三年级下册Lesson 2 Cats and Dogs
3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
《小学数学二年级下册》第二单元测试题讲解
冀教版小学数学二年级下册第二单元《余数和除数的关系》
青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T1406126
沪教版牛津小学英语(深圳用)五年级下册 Unit 1
外研版英语三起6年级下册(14版)Module3 Unit1
沪教版牛津小学英语(深圳用) 四年级下册 Unit 4
第12章 圆锥曲线_12.7 抛物线的标准方程_第一课时(特等奖)(沪教版高二下册)_T274713
化学九年级下册全册同步 人教版 第18集 常见的酸和碱(二)
外研版英语七年级下册module1unit3名词性物主代词讲解
苏教版二年级下册数学《认识东、南、西、北》
冀教版小学数学二年级下册1
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
苏科版数学 八年级下册 第八章第二节 可能性的大小
苏科版数学七年级下册7.2《探索平行线的性质》
河南省名校课堂七年级下册英语第一课(2020年2月10日)
【获奖】科粤版初三九年级化学下册第七章7.3浓稀的表示
30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
8.练习八_第一课时(特等奖)(苏教版三年级上册)_T142692
北师大版数学四年级下册3.4包装
外研版英语三起6年级下册(14版)Module3 Unit2
人教版历史八年级下册第一课《中华人民共和国成立》