分享到:

一种改进的RAID纠删码技术

随着社会的发展和计算机技术遵从摩尔定律的不断进步,大数据、云计算、物联网边缘计算等对海量数据存储提出了更高的要求。基于此,分析RAID技术中各级别的特点  (本文共3页) 阅读全文>>

华中科技大学
华中科技大学

容错存储系统中的MDS阵列码研究

随着现代存储系统在规模和复杂性上的不断增长,硬盘(节点)故障已经成为系统运行中的一个日常事件。为了防止各类硬件故障造成数据丢失,存储系统一般使用两种方式对数据进行保护,即多路镜像和纠删编码。多路镜像虽然实现简单,但这种方式的存储效率通常较低;而纠删码技术由于可以灵活地调节存储效率而被越来越多的存储系统采用。最大距离可分的(MDS)阵列码是一类主要面向存储系统的纠删码,这类码可以使用最少的冗余来提供特定的容错能力,并且其编解码过程只需要用到简单的异或和循环移位运算,因此在近几年受到了越来越多的关注。本文主要针对纠双删和纠三删的MDS阵列码进行了深入的研究,并取得了以下几点成果:1、RAID-6正在逐步取代RAID-5成为RAID的主流形式,因为它可以在两个磁盘同时故障的情况下也能够恢复数据。有许多纠双删的MDS阵列码是专为实现RAID-6设计的,但是这些码都有它们各自的局限性。本文研究了其中一种有代表性的码(Blaum-Roth码...  (本文共124页) 本文目录 | 阅读全文>>

河南大学
河南大学

基于HDFS的海量遥感影像存储冗余机制的研究

海量遥感影像数据存储基本上采用的都是分布式存储方式。特别是在高分辨率数据存储系统中,为了保证数据的安全性、完备性和高可用性,需要提供一定的数据冗余技术。目前,传统的分布式文件存储系统中采用的数据冗余技术有三种:完全副本技术、磁盘阵列技术和纠删码编码冗余技术,完全副本和磁盘阵列这两种技术在提高系统冗余性的同时都会增加对系统存储空间的需求,纠删码编码冗余技术虽然能弥补存储空间过度消耗的缺陷,但同时也会增加系统I/O负担。针对上面三种方法的缺陷,本文采用完全复制技术和纠删码编码冗余技术相结合的方法来解决。在开源HDFS(HadoopDistributed File System)的基础上,本文将改进后的冗余机制替代HDFS原有的冗余机制来解决系统中存储空间与系统I/O负担之间的冲突问题,使整个系统在提高冗余性的同时能够保证系统I/O速度,并且可以极大地降低系统对存储空间的需求。本文重点研究了适合高分辨率遥感影像的数据冗余机制,提出了一...  (本文共62页) 本文目录 | 阅读全文>>

哈尔滨工程大学
哈尔滨工程大学

基于RS码的分布式容灾系统的研究

对于竞争紧张而激烈的现代社会来说,数据信息正以指数级的速度增长着。在美国911事件中,由于关键数据丢失而破产的企业不计其数。在日常工作中,来自人为操作失误、自然环境破坏、网络病毒感染等不良因素的影响也不占少数。如果数据的丢失或损坏后无法恢复,将会对企业以至于社会有很严重的危害,那么建立起一套完备的分布式容灾系统是所有企业和国家所迫切需要的,并且对于企业乃至国家的繁荣稳定都有着非常重要的意义。纠删码究其含义就是一种信息恢复技术,是容灾系统中的重要组成部分,更早用于本地磁盘的数据存储。但随着远程容灾技术的发展,需要将纠删码进行适当改进,使它可以应用在分布式容灾系统中。目前,已有很多的纠删码可以实现系统的容灾备份,但RS码与众多纠删码相比可靠性更高,也更适合于海量大存储的要求,但不足之处是译码效率偏低。本文针对RS码译码效率偏低等问题进行了改进,提出了一种改进的RS码译码算法,使之更好的应用于分布式容灾系统。算法借鉴缩短码的特点,并对...  (本文共64页) 本文目录 | 阅读全文>>

《网络安全和信息化》2018年12期
网络安全和信息化

RAID 2.0+优势分析

RAID 2.0+是把相同的数据存储在多个硬盘的不同的地方的技术...  (本文共2页) 阅读全文>>

《电子学报》2019年11期
电子学报

RAID系统扩容方案研究综述

随着云计算、物联网和人工智能等IT技术驱动数字经济产业的繁荣发展,现代企业信息化需求对数据中心存储能力提出了更高的要求和挑战.RAID系统因具备良好的数据存储可靠性和磁盘阵列可扩展性而得到广泛应用.为了满足海量数据对存储容量日益增长的需求,业界普遍采用扩容现有RAID系统以应对海量数据的存储问题.电子商务、Web服务和金融等行业对数据的实时访问,使得数据中心必须为用户提供7*24的高质服务响应,然而数据迁...  (本文共12页) 阅读全文>>

《重庆邮电大学学报(自然科学版)》2019年05期
重庆邮电大学学报(自然科学版)

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便...  (本文共6页) 阅读全文>>