翻新时间:2015-07-31
海绵数据推出大数据操作系统Sponge
海绵数据近日宣布推出其第二代大数据操作系统产品Sponge。Sponge是一个简单多层,兼容完全POSIX兼容的分布式NFS、Hadoop,支持对象存储、云存储、SDS(软件定义存储)、容器机制,集成Spark为计算引擎,基于内存计算技术的分布式系统,将大数据的存储、管理和计算有机融合,具有实时一致性,易于兼容现有系统,相比10年前诞生的第一代产品Hadoop更加简单易用,易于扩展。仅仅有作为计算平台的Spark不足以应对大数据的挑战,整合后的Sponge技术框架,能够同时支持大数据、云存储、结构化、半结构化和非结构化数据的处理,代表了大数据的发展方向。
简单 高效 可靠 经济
今天已经没有人再怀疑大数据的价值,云计算、移动互联、物联网、机器学习、无人机等前沿技术的普及与大数据的发展相得益彰,不论在美国还是中国,大数据已经在很多的IT企业和传统企业开始落地,譬如互联网金融公司的反欺诈流程,电信运营商的客户服务分析,都贯穿着大数据和机器学习技术的应用,这也刺激着初创企业在这个领域寻找新的商业机会。
目前普遍被采用来应对大数据的是开源软件与廉价的x86服务器的组合,这些开源产品包括Hadoop、Spark、Storm、NoSQL等。传统存储和数据库当然也针对大数据的需求升级,用来存储价值密度低的大量非结构化数据却不现实。这些原本被Google、Facebook、Yahoo等大公司验证在某些场景很成功的开源项目,也存在问题:不同功能模块对应多个相互独立的开源项目,为不同的目的而设计,其关系很复杂,缺乏通用性,系统部署和使用复杂而低效,二次开发困难,并且难以统一管理和监控,维护成本高,所以,需要有一个统一的平台。
简单、高效、可靠、经济,这四个词,是海绵数据对第二代大数据操作系统的价值的追求,以及Sponge产品设计的理念。
满足大量文件数据读写IO的高需求
不同于以往以磁盘计算技术为核心的文件系统,SpongeFS将集群内存管理提升成为文件系统的重要组成部分,以满足大量文件数据读写IO的高需求。SpongeFS基于分布式设计,上文说的Masterless结构,以及模块化架构,正是由SpongeFS来操盘的。
SpongeFS主要由集群管理层、文件管理层和存储层构成。当数据进入SpongeFS,就被分成一个个数据块,每个数据块通过文件管理层先存入缓存层,被加入集群间复制队列,一击加入到持久队列等待存入持久层,CDR则把持久层数据块复制到目标集群(目标群数据块也优先存到缓存层)。文件管理层的基本管理单位是Volume,每个Volume可以有不同的管理设置,如容错性、安全性、物理资源的使用等。
下载文档
网友最新关注
- 我爱我家
- 美丽的春天
- 龙虾历险记
- 我想发明机器人
- 我爱我家
- 比赛吹泡泡
- 一寸光阴一寸金,寸金难买寸光阴
- 七彩阳光
- 我爱我家
- 给喜羊羊的一封信
- 春节
- 森林野餐会
- 展开梦想的翅膀
- 美丽的仙女山
- 第一次我上网
- 会计专业自我鉴定
- 汽车专业自我鉴定
- 毕业自我鉴定
- 大学生通用自我鉴定范文
- 工作鉴定范文
- 师范毕业生自我鉴定
- 物流专业自我鉴定
- 保险公司实习自我鉴定
- 自我鉴定--丘富林
- 法学专业自我鉴定
- 高中毕业生自我鉴定范文
- 商学院学生自我鉴定
- 经典大学生个人鉴定范文
- 毕业生个人简历自我鉴定范文
- 董事长的自我鉴定
- 完善建筑合同管理有效控制造价
- 皖西地区降水量变化初步研究
- 土木工程施工管理中存在问题的分析
- 水泥稳定碎石基层防裂控制措施
- 水利工程中水闸施工技术
- 网络信息通信的安全防范
- 推进用水户参与管理建立灌区运行新机制
- 水利建筑工程结构检测技术探析
- 推进安全文化建设强化施工企业管理
- 土木工程项目的施工进度与施工质量管理
- 推进绿色建筑工程管理关键问题研究
- 土木工程施工过程质量控制措施探究
- 土木工程造价成本控制的各个阶段的探讨
- 危险化学品储运安全管理的现状和措施研究
- 网络优化方案探究
- 卜算子·咏梅
- “精彩极了”和“糟糕透了”
- 向往奥运
- 古诗三首(墨梅 竹石 石灰吟)
- 《鸟的天堂》
- 一夜的工作
- 《卖火柴的小女孩》
- 牛郎织女(一)*
- 宇宙生命之谜
- 十六年前的回忆
- 向命运挑战
- 劳动最光荣
- 灯光
- 延安,我把你追寻
- 牛郎织女(二)