稀疏化相似矩阵并行分析及MapReduce并行实现
上传者:孙中|上传时间:2015-05-04|密次下载
稀疏化相似矩阵并行分析及MapReduce并行实现
(2)基于Hadoop MapReduce 并行优化算法性能:目前,基于Hadoop MapReduce 并行计算
近似谱聚类算法研究刚起步,国内外学者基于Hadoop MapReduce 并行计算主要侧重于优化
聚类算法性能,提高聚类算法的加速比与可扩展性,以解决不能求解海量算数据聚类问题。
研究 k-means 聚类算法特点,为获得加速比与扩展性,利用 MapReduce 并行化后部署到
Hadoop 集群运行[50]与利用Hadoop 集群Mapreduce 编程模型实现k-means 聚类算法降低大
数据聚类的时间复杂度[51],以及利用 Combine 函数减少网络流量改进基于 MapReduce 传
统的并行k-means 聚类算法,用以分析和挖掘海量数据[52];Plaza 等人[53]结合高光谱图像
中空间和谱信息,在基于商业用途的集群上(包括高性能并行计算体系结构:欧洲巴塞罗那
并行计算中心的分布式存储、多指令多数据的多机组等)并行化使用多信道波形变换的无监
督技术提出并行数据分析策略;Lv Z等人[54]基于MapReduce 并行编程模型并行k-means 聚
类算法聚类远程传感图像。
文献[55]是该领域的理论专著,文献[56]和[57]分别是 MapReduce 并行大规模高维数据集研
究的专著和最新的云计算分布式并行研究专著。目前,国内外基于Hadoop MapReduce 并行
聚类与谱聚类算法研究都处于刚起步状况,其发展趋势:向并行大规模高维数据的近似谱聚
类方向发展。
第三节 论文工作量及主要贡献
本文在确保谱聚类聚类质量(或准确性)的前提下,为聚类大规模高维数据,对 k-means
聚类中心初始化位置选择、距离相似度近似法、相似矩阵稀疏化方法、拉普拉斯矩阵特征向
量分解、k-means 聚类算法以及Apache Hadoop 系统MapReduce 并行框架进行了深入研究,
介绍了谱聚类算法及其近似法研究现状,此外,简单介绍了基于Hadoop MapReduce 谱聚类
的发展趋势,Hadoop MapReduce 平台架构与编程模型等,并从以下三个方面开展了相关研
究工作。
一、稀疏化相似矩阵并行分析及MapReduce 并行实现
相似矩阵中元素直接决定谱图矩阵中元素的构成,因此影响谱聚类准确性。基于国内外研究
现状及发展趋势,本文在前人研究基础上,提出一种新的相似矩阵优化法---使用 稀疏化
Euclidean 距离矩阵并调整为对称矩阵后,对相似矩阵列向量的离群点进行优化,并在优化
引理的前提下理论证明该方法最优解的存在,并说明其时间复杂度。论文使用该方法应用于
构建相似矩阵并基于Hadoop 集群系统下MapReduce 并行编程框架,对上述优化后的稀疏相
似矩阵进行并行算法设计与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行
前后稀疏化近似相似矩阵的时间复杂度,以及通过大规模高维数据实验验证所设计的
Hadoop MapReduce 并行算法加速比,使用实验结果阐述应用该方法的ASC 并行后的性能。
二、特征向量分解并行分析及MapReduce 并行实现
相对于聚类而言谱聚类必须对拉普拉斯矩阵进行特征向量分解,否则,得不到数据集的低阶
表示,即维简约。谱聚类算法时间复杂度 正是由于其特征分解过程所产生的。针对大规模
数据集而言,从理论分析可得出:k-means 聚类的时间杂度( )相对于拉普拉斯矩阵特征
向量分解几乎可忽略不计。因此,本文在前人研究基于MapReduce 编程框架Tall and Skinny
QR 矩阵分解[58]的基础上对其进行修改,使其能够计算由近似相似矩阵求得的近似拉普拉
斯近似矩阵的特征向量分解。并设计基于Hadoop 集群系统下MapReduce 并行编程框架的
并
行算法与并行编程实现,在设计的过程中,分析Hadoop MapReduce 并行前后特征向量分解
的时间复杂度,以及通过大规模高维数据实验验证所设计的Hadoop MapReduce 并行算法加
速比,使用实验结果阐述应用该设计的ASC 并行后的性能。
三、k-means 聚类算法并行分析及MapReduce 并行实现
k-means 聚类中心初始化位置决定其算法收敛时迭代次数,直接影响谱聚类计算时间。基于
国内外研究现状及发展趋势,本文基于Hadoop 集群系统下MapReduce 并行编程框架对适合
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 《短文两篇》Word06
- 劳动合同法讲解Word
- 清新文艺通用说课公开课Word模板
- 第4课_唐朝的民族政策与科举制度Word
- 心太软
- 第1章 国际收支Word
- 第五课 人生Word
- 20150316恒山药厂地块产品建议及初步营销思路Word
- 黑板背景彩色粉笔公开课说课Word模板
- 第六章 食品中常检病原微生物的检验技术Word
- 语文教学活动创意(十)学生自定目标
- 男人对他们女人的期待
- 郑州北辰公寓营销战略暨推广规划(终稿)Word
- 传播事件分析报告-以中国好声音为例Word
- 如何做一名成功的超市店长Word
- 班组长安全教育Word
- 专题五 代词
- 电脑族眼睛干涩怎么办
- 费用申请审核的管理流程
- 立思辰互联网留学:去荷兰留学的一些误区
- 第六章 食品中常检病原微生物的检验技术Word
- 立思辰互联网留学:去荷兰留学准备
- KJ90系统培训Word
- 中研博峰通信技术基础培训Word
- 立思辰互联网留学:去荷兰读硕士的费用
- 心无所属,何处是家?
- 第3章 外汇与外汇汇率Word
- 20150315金港城项目第二阶段策划报告【提报版】Word
- 路基路面工程Word
- 《父亲和鸟》Word课件4
网友关注视频
- 北师大版数学四年级下册第三单元第四节街心广场
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
- 北师大版数学四年级下册3.4包装
- 8.练习八_第一课时(特等奖)(苏教版三年级上册)_T142692
- 冀教版小学数学二年级下册第二单元《有余数除法的竖式计算》
- 8 随形想象_第一课时(二等奖)(沪教版二年级上册)_T3786594
- 3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
- 【部编】人教版语文七年级下册《泊秦淮》优质课教学视频+PPT课件+教案,湖北省
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
- 《空中课堂》二年级下册 数学第一单元第1课时
- 苏科版数学 八年级下册 第八章第二节 可能性的大小
- 苏科版数学七年级下册7.2《探索平行线的性质》
- 冀教版小学英语四年级下册Lesson2授课视频
- 外研版英语三起5年级下册(14版)Module3 Unit1
- 冀教版英语五年级下册第二课课程解读
- 【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
- 北师大版小学数学四年级下册第15课小数乘小数一
- 第五单元 民族艺术的瑰宝_15. 多姿多彩的民族服饰_第二课时(市一等奖)(岭南版六年级上册)_T129830
- 沪教版牛津小学英语(深圳用) 六年级下册 Unit 7
- 30.3 由不共线三点的坐标确定二次函数_第一课时(市一等奖)(冀教版九年级下册)_T144342
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 7
- 苏教版二年级下册数学《认识东、南、西、北》
- 人教版二年级下册数学
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 2
- 七年级英语下册 上海牛津版 Unit5
- 二年级下册数学第三课 搭一搭⚖⚖
- 8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
- 第8课 对称剪纸_第一课时(二等奖)(沪书画版二年级上册)_T3784187
- 六年级英语下册上海牛津版教材讲解 U1单词
- 冀教版小学数学二年级下册1
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理