分享到:

基于PVFS的并行文件系统

并行网络存储系统是浪潮存储开发的新一代网络存储系统。浪潮并行文件系统以PVFS作为开发原型,并在此基础上进行  (本文共2页) 阅读全文>>

权威出处: 网络世界2005-08-29
南京大学
南京大学

面向大规模数据处理的PVFS文件系统改进与应用研究

在大规模数据处理中,文件系统是非常重要的环节之一。文件系统的性能直接影响到应用的性能和处理效率。随着高性能和分布式计算架构的发展,并行文件系统受到了越来越多的关注和应用,其中,PVFS作为典型的并行文件系统,被广泛应用于物理、天文、地质等研究领域,也成为计算机领域中的研究热点。目前PVFS文件系统不支持动态扩展和数据迁移工作,这难以满足实际的应用环境要求。同时PVFS没有缓存机制和相应的缓存管理算法,这也局限了PVFS的性能。本文针对这两方面进行了深入的研究,取得的主要成果有:(1)提出并实现了一种基于PVFS的动态扩展与数据迁移算法,提升了系统的可扩展性。在深入分析PVFS的软件架构后,改进了PVFS的源码,使其支持动态扩展的功能。同时,针对新加入的节点,设计了相应的数据迁移算法。在执行数据迁移过程中,考虑了用户需求和节点负载的需求,在不影响系统性能的情况下合理地将数据向新节点迁移,有效地降低系统的负载。(2)提出并实现了一种...  (本文共65页) 本文目录 | 阅读全文>>

陕西师范大学
陕西师范大学

CMAQ模型的并行效率优化研究

伴随着环境污染问题的日益凸显,大气质量模型逐渐成为环境研究领域所关注的焦点。然而由于运算数据的海量化、污染源种类繁多、模拟周期的增长、空间网格要求的精细化、参考因子复杂等因素的影响,在PC机上串行运行模式的速度异常的慢,成为大气模式运算效率的瓶颈,严重阻碍了空气质量模式在日常环境模拟中的推广应用。因此,在现有的硬件实验环境条件下,如何快速、高效、准确地完成大气数值模拟,成为该领域的重要研究方向。本文首先介绍了研究的背景和意义,然后对Models-3/CMAQ模型的各模块进行了仔细的剖析,接着对比研究了DNFS和PVFS两种并行文件系统,给后续的并行实验选择了合适的文件系统平台;其次,本文详细介绍了MM5模型、SMOKE模型及CMAQ模型的安装运行过程及参数配置要求;最后,对CMAQ模型的可并行性进行了分析,然后在此分析的基础上,完成了基于PVFS文件系统的并行算法的设计。本文的结尾之处,在并行集群系统上对算法进行了测试并分析比较...  (本文共74页) 本文目录 | 阅读全文>>

哈尔滨工业大学
哈尔滨工业大学

搜索引擎中并行文件系统的研究

随着计算机应用的普及和互联网的发展,面对互联网海量的信息,如何找出自己感兴趣的内容越来越困难,搜索引擎应运而生。而当搜索引擎把海量网页信息获取之后,文件的存储、管理成为了制约其发展的关键一环。同时近年来伴随着集群技术的高速发展,分布式并行文件系统作为其核心组成部分,受到越来越多的关注。利用分布式并行文件系统为搜索引擎提供底层文件支持成为了一个较好的解决方案。但是常见的并行文件系统多为通用系统,不能很好地满足搜索引擎的特殊要求。本课题研究的目的在于通过对并行文件系统相关技术的研究,选择一个并行文件系统作为原型,针对搜索引擎的特殊文件操作需求,对具体算法进行探讨,最终实现一个并行文件系统,为搜索引擎提供文件存储和管理支持。本文通过对常见的并行文件系统进行对比,选择PVFS2作为原型系统,然后参考Google文件系统,分析了PVFS2的特点、系统结构及其原理,在此基础上进行了交叉备份和负载均衡的算法研究。本文的研究内容主要包括以下几个...  (本文共66页) 本文目录 | 阅读全文>>

华中科技大学
华中科技大学

基于集群文件系统的元数据容错研究

目前高性能计算机和高性能服务器已逐渐使用大规模集群结构。集群文件系统是集群的一个重要组成部分,作为一种集群体系结构上的并行文件系统PVFS(Parallel Virtual File System),为用户提供一个虚拟化大容量存储器的统一访问接口和高I/O带宽。由于集群文件系统的文件数据分散存储在各个节点上,文件的定位需要借助元数据来完成,并且考虑到元数据的故障对文件系统损害严重,因此对元数据进行容错成为管理元数据的一个关键。为了解决PVFS中元数据管理的瓶颈,高可用性集群文件系统元数据容错系统MDFTS (MetaData Fault Tolerance System)以PVFS为基础平台,对系统中元数据的故障进行检测与诊断,并进行检查点恢复。为了达到复杂的元数据管理一致性,采用了一个无集中式服务器的体系结构,保证所有的数据和元数据能够存放到系统的任意地方,并且在操作的过程中可以动态迁移;采用元数据的磁盘日志结构和内存日志结构...  (本文共70页) 本文目录 | 阅读全文>>

华中科技大学
华中科技大学

并行文件系统数据访问的负载平衡

随着人们对高性能计算的需求越来越大,并行处理作为高性能计算的一种重要手段,也越来越得到重视。然而,在很多应用中,并行处理的能力受到削弱,其原因之一是因为负载不均衡,引起在某些部件上存在瓶颈,制约整个系统的吞吐量。为此,负载平衡对维护系统的性能具有重要作用。为了有效地在并行文件系统中实现数据访问的负载平衡,本文以PVFS(Parallel Virtual File System)为例采用数据迁移与副本相结合的机制。该机制在PVFS中增加一些模块,在各个IOD(I/O节点)上统计得到负载信息,MGR(管理节点)每隔一段时间向所有的IOD发请求,要求把负载信息传递上来。检测哪些磁盘的热度比较高,找出这个磁盘上的热点。为提高迁移的收益,选择迁移的热点应该是那些使迁移收益/代价最高的数据文件,将这些热点迁移到热度比较低的磁盘上去,使负载趋于平衡。系统实现的模块主要有:负载平衡的元数据管理,负载信息的统计,负载信息的收集,负载平衡的计算,负...  (本文共56页) 本文目录 | 阅读全文>>