分享到:

构建分布式文件系统

关键词: $$  →Infiniband $$  由Mellanox公司提出,是一种新的I/O总线技术,用于取代目前的PCI总线。 $$  →Lustre $$  它是一个开放源码的基于对象存储的高性能分布式文件系统,由Cluster File System(CFS)公司研发。 $$  →Portals $$  来源于Sandia大学的Puma轻量内核项目,主要用于高性能的消息传递。 $$  既然分布式文件系统能给用户带来更高的性能、扩展性和可用性,那么构建一个高性能的分布式文件系统又该从何处入手呢?基于Infiniband技术构建Lustre的实例可以让你见识到分布式文件系统的强大性能。 $$  存储系统对于高性能计算平台的性能有重要的影响。很多关键应用,如天气预报、洋流模拟等都有很高的I/O吞吐量。分布式文件系统以其高可靠性、高可扩展性、高性能和高性价比成为高性能计算平台存储系统的首选。 $$  Lustre作为新一代的基于...  (本文共5页) 阅读全文>>

江苏科技大学
江苏科技大学

GlusterFS分布式存储系统在云渲染平台中的应用研究

渲染是将模型生成图像的过程,在渲染任务的整个过程中,渲染节点需要不断的和存储节点进行数据交互,当渲染系统中的集群规模越大时,存储系统的I/O并发数据处理负载越大。所以存储系统的I/O性能和数据的可靠性对渲染系统的任务执行具有非常大的影响,存储性能低下将直接影响渲染任务的效率。本课题从渲染系统的计算特点出发,构建具有适用于渲染平台的高性能存储系统,其主要的研究内容如下:(1)云渲染平台是24小时不间断服务平台,从渲染平台特点出发,分析适合于云渲染平台的高性能分布式存储系统,其需满足平台不停服弹性扩展,且能实现平台数据的高速读写需求。(2)从元数据中心服务器出发,分析中心化和去中心化分布式存储系统的架构特点和数据操作特性,将GlusterFS分布式系统应用于云渲染平台,研究如何通过灵活的模块化设计和有效的弹性卷分布构建出适用于云渲染平台的存储系统,并对其进行性能优化。(3)GlusterFS文件系统提供了统一命名空间、高性能、高可用...  (本文共80页) 本文目录 | 阅读全文>>

解放军信息工程大学
解放军信息工程大学

基于分布式存储的虚拟地理环境关键技术研究

本文在学习,借鉴国内外相关研究成果的基础上,对分布式存储虚拟地理环境中的一些重要理论和关键技术以及相关算法做了较为深入的研究,通过大量的实验数据论证了论文提出的自适应空间数据模型和基于元数据的空间数据引擎,并在此基础上模拟构建了多级别多地区分布式存储虚拟地理环境,完成了原型平台的设计与开发,实现了地理空间数据的存储、管理、共享及可视化。主要研究内容和创新点如下:1.研究分析了现有分布式存储VGE的体系结构、数据资源、支撑技术和应用平台的特征及存在问题,建立了四层体系结构的分布式存储虚拟地理环境的架构,并从技术和应用两个层面,给出了基础层、资源层、服务层和应用层的内容构成和支撑技术,为分布式存储VGE的研究设计和应用服务提供了理论和方法指导。同时,探索并设计了基于网格、云模式和物联网模式下的虚拟地理环境的体系结构,为分布式存储VGE的发展提供了思路,也验证了本文提出的体系结构的扩展性和兼容性。2.建立了VGE元数据模型。结合分布式...  (本文共195页) 本文目录 | 阅读全文>>

中国科学院大学(工程管理与信息技术学院)
中国科学院大学(工程管理与信息技术学院)

基于HDFS的分布式海量遥感影像数据存储技术研究

随着全球对地观测技术的快速发展,遥感影像数据的规模成指数倍数的增长。同期我国开展了一系列基础专项和科研项目,如高分辨率对地观测系统等。这些项目的发展产生了大量的高分辨率遥感影像数据,传统的遥感数据存储管理技术面对TB级至PB级的数据存储问题越来越吃力。由此引发了人们对一系列的超大规模海量遥感数据存储问题的关注和研究。如何能够快速而高效的对海量遥感数据进行存取管理是未来几年内人们关注和研究的一个重要课题。本文针对如何能快速而高效的进行海量遥感影像数据存储管理的技术,进行了深入研究。选取了hadoop的分布式文件系统HDFS作为存储平台,对比了其他主流的遥感影像数据存储方案,在HDFS文件系统的基础上,针对遥感影像数据,引入了一些其他的优良机制,使之可以应用于海量遥感数据存储上。主要的研究内容包括:(a)对传统的遥感影像数据存储技术进行了分析,探讨了常用的传统遥感影像数据存储在面对迅猛发展的数据规模和数据多样性中存在的不足,对比了现...  (本文共89页) 本文目录 | 阅读全文>>

成都理工大学
成都理工大学

基于DFS的构建服务器集群技术的研究与实现

我们当前所处的时代是一个信息大爆炸的时代,由于信息技术的发展,特别是互联网的出现,产生并要处理的数据已经达到了PB(1PB=1024TB)级、EB(1EB=1024PB)级、甚至更多,这种级别的数据我们称之为海量级别的数据,随之而来的问题就是如何对这些海量数据进行存储,以及如何保证海量数据的高可用性。虽然这些问题在以前都已经有比较成熟的解决方案,但是当数据达到海量的级别后,以前的方法无力应对这一变化,所以我们必须研究新的方法来解决这些问题。数据到达海量级别以后,以上问题唯一可行的解决办法就是使用分布式文件系统构建服务器集群,利用分布式服务器集群技术来解决由海量数据所带来的一系列问题。本文首先对各种主流的分布式文件系统进行研究,在分析了各种主流的分布式文件系统的架构、优缺点及适用性之后,选取一款适合的分布式文件系统来搭建分布式服务器集群。本文研究了基于此分布式文件系统的分布式服务器集群搭建技术,采用Linux操作系统和Xen虚拟机...  (本文共69页) 本文目录 | 阅读全文>>

中国科学院大学(中国科学院遥感与数字地球研究所)
中国科学院大学(中国科学院遥感与数字地球研究所)

多数据中心架构下遥感云数据管理及产品生产关键技术研究

对地观测技术的发展,一方面造成了遥感数据体量的爆炸式增长,遥感产品种类、数量的不断增加,另一方面也为遥感数据的存储管理、数据处理及产品生产带来了巨大挑战,使得现有的数据存储管理及生产加工系统无法满足应用需求。对于遥感数据集成管理而言,海量、多源、异构的遥感数据不仅造成了在分布式数据集成标准统一、集成模式实现等方面的困难,而且使得现有的遥感数据组织存储与管理方式无法满足快速检索、高并发访问等服务需求;对于遥感数据处理及产品生产而言,海量、多源的遥感数据一方面造成了产品生产过程中多种近似数据源择优推荐选择问题,另一方面对于长时间序列、大区域范围的综合对地观测产品生产又可能存在着特定数据缺失、数据质量较差不可用的问题。此外,现有的遥感产品生产系统产品种类单一、生产流程固定,无法满足用户复杂多变的、个性化产品生产需求。因此,本研究借助云计算的海量数据存储、高性能计算、弹性扩展、按需服务等优点,对于多数据中心架构下的遥感云数据管理及产品生...  (本文共172页) 本文目录 | 阅读全文>>