分享到:

PVFS数据访问的负载平衡

并行文件系统PVFS广泛地应用在集群中,以缓解网络和处理器速度与磁盘速度差造成的I/O瓶颈[1 ] .PVFS文件的数据放置方法是以组为单位的,随机选择一个节点作为起始节点basenode ,然后选取几个连续节点作为一组,在这些节点上以段为单位用roundrobbin的方式存放数据,而每个段在物理上是连续的.如果访问整个文件,这种放置方式有一定的负载平衡的作用.但是如果只是访问文件中的某些段,或者虽然是访问整个文件,当这个文件的访问频率很高时,就可能造成某个或某些磁盘访问的热度很高.1 PVFS文件系统的负载平衡原理在考虑负载平衡时需要考虑文件内段的访问热点问题.所谓热点是指一段时间内对某个段访问字节数比较多,这些段称为热点.在访问段的热点中,提出热度的概念,热度是指一段时间内对某个磁盘的访问字节数.磁盘的热度可能相差比较大,造成有的磁盘成为I/O瓶颈,有的磁盘负载比较轻.因此有必要对数据访问做负载平衡.本文采用数据迁移与副本相...  (本文共2页) 阅读全文>>

国防科学技术大学
国防科学技术大学

并行文件系统负载均衡技术的研究与实现

随着集群技术的不断发展,并行文件系统作为集群的I/O子系统也越来越得到重视。然而,在很多应用中并行文件系统的性能受到削弱,其重要原因就是负载不均衡,使得某些部件成为瓶颈,制约了整个系统的吞吐量。因此,负载均衡对提高系统的性能具有重要作用。本文以并行虚拟文件系统PVFS(Parallel Virtual File System)为基础,深入研究了并行文件系统中数据访问的负载均衡问题,并且在研究分析的基础上提出了平衡负载的方法。PVFS是一个开放源码的并行文件系统,是迄今为止Linux集群系统中最成功的并行文件系统之一。PVFS具有良好的并行性,较高的可用性、可扩展性和性能,但是其数据服务器缺少负载均衡能力,降低了PVFS的性能,严重制约了系统的吞吐量。本文在PVFS文件系统的基础上,深入研究了分别基于副本和数据迁移的负载均衡技术,分析两者的优缺点,并最终提出和实现了一种数据迁移与副本相结合的BRM(Based on Replica...  (本文共77页) 本文目录 | 阅读全文>>

华中科技大学
华中科技大学

并行文件系统数据访问的负载平衡

随着人们对高性能计算的需求越来越大,并行处理作为高性能计算的一种重要手段,也越来越得到重视。然而,在很多应用中,并行处理的能力受到削弱,其原因之一是因为负载不均衡,引起在某些部件上存在瓶颈,制约整个系统的吞吐量。为此,负载平衡对维护系统的性能具有重要作用。为了有效地在并行文件系统中实现数据访问的负载平衡,本文以PVFS(Parallel Virtual File System)为例采用数据迁移与副本相结合的机制。该机制在PVFS中增加一些模块,在各个IOD(I/O节点)上统计得到负载信息,MGR(管理节点)每隔一段时间向所有的IOD发请求,要求把负载信息传递上来。检测哪些磁盘的热度比较高,找出这个磁盘上的热点。为提高迁移的收益,选择迁移的热点应该是那些使迁移收益/代价最高的数据文件,将这些热点迁移到热度比较低的磁盘上去,使负载趋于平衡。系统实现的模块主要有:负载平衡的元数据管理,负载信息的统计,负载信息的收集,负载平衡的计算,负...  (本文共56页) 本文目录 | 阅读全文>>

《南京理工大学学报(自然科学版)》2002年05期
南京理工大学学报(自然科学版)

多级负载平衡系统的设计和实现

机群系统[1] 属于松耦合型并行处理系统 ,可方便地实现对大型计算问题的并行处理。它的优点在于其系统资源可用性、规模可扩展性以及可并行性。如何有效地实现分布式系统资源的管理和调度是充分挖掘系统并行潜力的关键因素。通常 ,一个机群系统要同时处理多个用户作业 ,而每个计算结点需要同时处理多个进程 ,就要通过对作业和任务的调度、分配算法来实现对作业或任务的优化分配 ,有效地减小平均响应时间 ,减少执行时的额外开销等。于是 ,负载平衡[2 ] 就成为改善机群系统性能的重要手段。当前的负载平衡系统为了避免引入大量的通信开销多是专门针对作业或进程 (任务 )来实现的。本文考虑到负载平衡系统引入的额外开销主要是在负载信息收集的时候 ,因此采用了一种动态自适应的负载收集方法来减少通信开销 ,并在此基础上将作业和任务结合起来实现了一种新的多级负载平衡方法。在负载信息收集的问题上 ,目前大多数系统采用的都是定时汇报或周期性收集 ,如著名的CONDO...  (本文共6页) 阅读全文>>

《企业导报》2010年10期
企业导报

刍议无线局域网中的负载平衡技术

在IEEE802.11无线局域网中,MN(Moble Node)的接入或切换方式很容易产生AP间的负载不平衡现象。IEEE802.11中规定的负载平衡机制很难满足用户服务的需求,很多解决AP间的负载平衡技术可能会产生负载平衡假象问题,而不能真正解决无线网络的负载平衡问题。一、无线局域网的负载平衡技术(一)基于发起者的负载平衡技术1.移动终端主控的负载平衡。移动终端主控的负载平衡实际上是一种自发的负载平衡策略,是无线局域网中移动终端的特性之一,切换完成的移动终端实际上也实现了网络负载的传递。对终端切换的条件加以扩充,在终端接入无线接入点之前,比较ESS内AP的当前接入用户数或接入数据流量,无线终端将接入到接入用户数或接入流量最少的无线接入点,实现局域网无线接入点的负载平衡。终端接入或切换除了AP的信号强度,还要考虑AP的当前用户数和流量,增加了切换目标AP选择的准确性。这样的方法的缺点是切换或接入的过程中,终端必须查询AP的状态,...  (本文共1页) 阅读全文>>

《计算机与数字工程》2014年04期
计算机与数字工程

无线局域网中一种层次式负载平衡技术

1引言在IEEE 802.11的无线局域网中,移动结点(MN)在接入或切换的过程中,通常选择收到的信号强度(RSSI)最大的接入点(AP)建立连接,这种方法容易造成信号强的AP拥塞,而另一些APs空闲,从而产生无线局域网的负载不平衡的现象。IEEE 802.11[1]中规定,当移动终端连续丢掉四个信标帧时,就意味着该移动终端和与之建立联系的无线接入点AP间的无线链路竞争激烈,需要减少该链路的负载,启动负载平衡机制。实践和数据分析都证明,这种负载平衡机制很难满足用户服务的需求。因此,学者们对该问题进行了进一步深入的研究。文献[2]提出了一种明确信道切换策略和定向网络漫游的方法,这种方法在一定程度上可以达到负载平衡的目的,但是,这种方法不仅需要修改AP和无线站点,对于参与考察的额外信息的获得也是非常困难和复杂的,这要大大加大网络的开销。文献[3]提出了一种Ad Hoc和基础设施混合拓扑的模式,这种混合模式在一定程度上减轻了AP所承负...  (本文共6页) 阅读全文>>

《计算机应用研究》2005年10期
计算机应用研究

防火墙负载平衡机制设计

防火墙是网络安全基础架构的重要组件,互联网上的信息依赖于防火墙来提供安全保证。由于网络信息传输的可变性,系统运行时任务的工作负载会发生变化,对应处理节点的负载也将随之变化,因此可能出现一部分节点负载过重,而一些节点仍然存在大量空闲资源的情况,系统性能不仅受到了极大影响,而且造成网络通信中断或受阻。这就需要根据运行时状态,提供一种能反映任务负载变化和动态更新节点任务的分配策略,实现节点负载均衡,即动态负载平衡,从而提高防火墙集群可用度和稳定性。1存在的问题为了实时分析安全状况,防火墙不停监视网络数据流并对数据进行过滤,同时产生主机审计数据,大量的数据分析是不可避免的。当通过防火墙的数据流的速度超过其处理能力时,必然导致数据来不及分析就被丢弃或通过过滤,这些的数据很可能包含具有攻击迹象的恶意数据,于是防火墙遗漏了该攻击事件。由此,引出防火墙的负载问题,成为制约防火墙性能的瓶颈。由此,负载性能问题常常被入侵者所利用,发送大量无用的数据...  (本文共4页) 阅读全文>>