分享到:

构建分布式文件系统

关键词: $$  →Infiniband $$  由Mellanox公司提出,是一种新的I/O总线技术,用于取代目前的PCI总线。 $$  (本文共5页) 阅读全文>>

西安电子科技大学
西安电子科技大学

Ceph分布式文件系统的研究及性能测试

分布式文件系统作为分布式系统的存储子系统,能够有效的解决海量数据存储的I/O瓶颈问题,成为了目前业界研究的热点。Ceph分布式文件系统的第一个版本于2012年6月发布,作为一个新兴的分布式文件系统,系统的架构特点、结构特征、性能、可用性和扩展性等各个方面都亟需测试、验证与研究。本文以Ceph分布式文件系统为研究对象,首先对文件系统的架构以及系统原型中的两个关键技术:CRUSH算法和RADOS对象存储服务进行了详细的分析,研究了它们对系统性能和扩展性的影响;然后根据之前的分析研究结果搭建测试环境并设计系统的测试用例,对系统的性能、可用性以及扩展性进行了全面的测试。最后,根据研究测试结果提出新的Journal存储方案和新的集群网络拓扑结构,并对优化过的系统做进一步测试,从而验证优化是否正确。测试结果表明,Ceph分布式文件系统具有高可用性、高可扩展性以及优良的性能,文中所提出的两个集群部署优化方案也确实提高了系统的性能。  (本文共73页) 本文目录 | 阅读全文>>

《计算机工程与应用》2005年22期
计算机工程与应用

基于Infiniband技术构建高性能分布式文件系统-Lustre

介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术...  (本文共6页) 阅读全文>>

中国科学院大学(工程管理与信息技术学院)
中国科学院大学(工程管理与信息技术学院)

基于HDFS的分布式海量遥感影像数据存储技术研究

随着全球对地观测技术的快速发展,遥感影像数据的规模成指数倍数的增长。同期我国开展了一系列基础专项和科研项目,如高分辨率对地观测系统等。这些项目的发展产生了大量的高分辨率遥感影像数据,传统的遥感数据存储管理技术面对TB级至PB级的数据存储问题越来越吃力。由此引发了人们对一系列的超大规模海量遥感数据存储问题的关注和研究。如何能够快速而高效的对海量遥感数据进行存取管理是未来几年内人们关注和研究的一个重要课题。本文针对如何能快速而高效的进行海量遥感影像数据存储管理的技术,进行了深入研究。选取了hadoop的分布式文件系统HDFS作为存储平台,对比了其他主流的遥感影像数据存储方案,在HDFS文件系统的基础上,针对遥感影像数据,引入了一些其他的优良机制,使之可以应用于海量遥感数据存储上。主要的研究内容包括:(a)对传统的遥感影像数据存储技术进行了分析,探讨了常用的传统遥感影像数据存储在面对迅猛发展的数据规模和数据多样性中存在的不足,对比了现...  (本文共89页) 本文目录 | 阅读全文>>

中国科学院研究生院(云南天文台)
中国科学院研究生院(云南天文台)

太阳望远镜海量数据存储关键技术研究

当前天文数据处理技术已经进入了数据密集型的天文信息学时代,大数据是比较典型的特征。在太阳观测中,具体表现为数据量庞大、数据采集速率高和数据连续性增长。传统的本地存储技术,例如DAS,以及网络存储技术,例如NAS以及SAN等,在天文大数据存储、处理和管理的需求背景下,表现出诸多的局限性,这些局限性为很多科研活动的开展带来不便。以海量数据为基础的现代天文观测迫切需要先进的大数据处理技术来加快数据的处理,例如MapReduce,为了支持这些处理技术的应用,存储系统需要能够提供高性能、可扩展的并发读写能力和具备海量天文数据的管理能力。一米新真空红外太阳望远镜(The1m New Vacuum Solar Telescope-NVST)已经投入运行,采用高速度、多通道、多终端的数据采集模式,目前已经产生了超过200TB的太阳观测数据。在观测条件理想时,光球和色球两个通道同时观测,当前色球通道和光球通道能够分别达到每小时60GB和190GB...  (本文共145页) 本文目录 | 阅读全文>>

电子科技大学
电子科技大学

乐观复制机制中更新传播的研究

随着硬件和软件技术的飞速发展,分布式系统变得越来越重要,尤其是在需要提供高性能、高可用性和高可扩展性的领域。分布式文件系统是任何分布式操作系统的核心,它通常设计成客户机-服务器模式。文件和目录都被存放在单一服务器中(或服务器群中),服务器向客户机输出可以访问的文件和目录,客户机将已输出的文件安装(mount)在本机的安装点上。当这些操作完成后,客户机上的应用程序就可以使用相同的API接口来访问安装在远程的文件资源。换句话说,就像对待本地文件系统一样对待远程文件系统。在本文的开头,我们首先讨论了分布式系统中的复制机制。分布式系统通常将复制机制作为提高系统性能、增强可用性和容错性的一种措施。通过将数据复制到多台服务器上,使得由于服务器或网络故障导致的对数据的不可访问性就大大降低了。复制机制的引入直接导致了更新传播问题的产生,即需要在多个副本节点之间传播更新信息。在对复制机制中的乐观复制策略作了介绍以后,我们深入的分析了更新传播的策略...  (本文共84页) 本文目录 | 阅读全文>>