分享到:

莫让“垃圾数据”毁了信息化

“假数据、异常数据、病态数据……会对国家决策造成重大负面影响,应当引起高度重视”。解放军军械工程学院院  (本文共1页) 阅读全文>>

权威出处: 科技日报2004/03/07
重庆大学
重庆大学

基于数据去重的备份系统中垃圾数据回收技术的研究

在信息存储技术领域,使用数据去重技术的备份系统中的垃圾回收一直是人们关注的焦点。在备份系统中,一般会为备份数据设置一个保留时间,过时的数据会被回收。但是在对数据去重之后,重复的数据块只保留一份,每个数据块很可能被同一个备份数据流版本内部的数据引用多次,也有可能被多个备份数据流版本之间的数据引用多次。这种同一个数据块的多次引用增加了过期数据块的回收难度,如何高效的清除这些无效数据块,使其所占用的存储空间得以重新利用,是应用数据去重技术的备份存储系统中亟待解决的问题。现有的基于数据去重的备份系统中垃圾数据的回收方法主要包括两种,引用计数(RC)和标记回收(MS)。引用计数的主要思想是为每一个去重系统中的数据块设置一个引用计数值,每次引用到该数据块将对其引用计数值加1,通过检查该引用计数值是否为0即可判断该数据块是否为垃圾数据块。标记回收方法与引用计数不同,它没有设置引用计数值,不在备份阶段对数据进行任何预处理,而是在垃圾回收阶段通过...  (本文共64页) 本文目录 | 阅读全文>>

《计算机应用与软件》2016年08期
计算机应用与软件

云存储日志文件系统中垃圾数据回收的设计与实现

互联网大数据蓬勃发展,各个行业都围绕着大数据展开研究。与此同时,由于数据量的异常膨胀,随之而来的问题就是如何回收垃圾数据。基于云存储日志文件系统HLFS(Hadoop distributed file system based Lo...  (本文共5页) 阅读全文>>

《电脑知识与技术(经验技巧)》2014年03期
电脑知识与技术(经验技巧)

巧妙清除“隐形”垃圾

在使用电脑过程中。难免会产生各种垃圾数据。为了维护系统的清洁,我们会使用各种清理工具,将垃圾数据清除掉。不过,对于"看得见"的垃圾,我们可以轻松将其清扫干净...  (本文共3页) 阅读全文>>

《中国计算机用户》2007年22期
中国计算机用户

怎能让这样的“数字说话”

在IT系统中,正积累着越来越多的垃圾数据,由...  (本文共1页) 阅读全文>>

电子科技大学
电子科技大学

数据去重与垃圾数据删除策略的设计与实现

伴随着我国下一代无线移动网络的进程,支撑各种各样电信业务的移动控制网络对底层的存储系统的支持提出了更高的要求。如今日益增加的用户数量和数据流量已经让传统的存储方案显得捉襟见肘。随着这种趋势的到来,如何有效的利用存储空间成为亟待解决的问题。本文首先对国内外主流的几个分布式存储系统进行介绍和分析,并分析分布式系统需要面对的问题和解决方案。在此基础上设计并实现了面向海量用户和海量文件、基于数据块级别数据去重的分布式文件系统CStore,本文主要设计并实现了基于CStore系统的数据回收系统。CStore系统是典型的分布式存储系统,它采用元数据和数据流分离的设计方案,将系统的元数据和文件数据分别存储在不同的集群中,客户端分别访问这些数据关于它们各自的管理和优化。系统的资源定位基于一种两级的哈希映射方案,以桶为单位的负载均衡和副本策略提高系统的可靠性,同时使得系统具有很好的可扩展性。数据去重是CStore系统的主要特点之一,它采用在线的基...  (本文共83页) 本文目录 | 阅读全文>>