分享到:

基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的  (本文共8页) 阅读全文>>

湖南大学
湖南大学

一种面向闪存的数据温度感知算法研究与应用

随着大数据的发展,高性能计算在许多规模领域中越来越重要,传统的HDD越来越不能满足实际对高速I/O的需求,基于NAND Flash的SSD已经广泛使用在各类的应用中,但因Flash本身具有I/O不对称性,写前擦除,异地更新,使用寿命有限制等特性,这些特性引起了写放大情况的出现,降低了写性能和减少了闪存的使用寿命,如何有效的对数据进行冷热识别来减少写放大率和延长使用寿命是目前研究的重点。本文针对目前现有冷热识别算法不足之处进行改进而提出了一种数据温度感知算法,它将原来的一个数据访问周期化分为多个子周期,每个子周期中通过CBF进行统计数据页请求次数,利用BF记录当前子周期内达到阈值的数据页,同时引入了温度概念,使用冷、热、温暖三种状态来表示数据的访问情况,这样可以识别忽冷忽热的数据,从而有效的提高数据页面的识别精度。通过理论和实际分析,该算法拥有良好的识别精度,较低的时间和空间复杂度。本文将数据温度感知算法运用在SSD的缓存管理中,...  (本文共62页) 本文目录 | 阅读全文>>

南京大学
南京大学

基于存储模型的HBase查询优化技术研究

HBase作为Hadoop家族中最主要的非关系型数据库,在生产环境中已经得到了广泛使用。用户可以根据HBase的主键(rowkey)快速地查询一行或多行数据。但是HBase对非标准主键查询并不友好,往往需要全表扫描,效率较低。为了增强HBase的非标准主键查询能力,许多工作从数据模型和二级索引方面提出了各自的解决方案。数据模型层面的方法通常是调整数据的存储结构,使得查询场景可以充分利用HBase的数据模型缩小查询范围,但是一般只能提高特定场景下的查询效率。二级索引是一种更为通用的方案,它借助索引表可以同时提高多个维度的查询效率。但是二级索引需要额外的开销来维护索引表的一致性,进而使得数据插入性能有所降低、集群稳定性受到影响。针对上述问题,本文深入研究了 HBase的内部机制,充分利用HBase的存储模型,提出了一种新的数据模型和二级索引修复引擎。具体工作包括:1.为了获得较为通用并且利于查询的数据模型,本文利用HBase的存储单...  (本文共81页) 本文目录 | 阅读全文>>

武汉科技大学
武汉科技大学

基于图的服务起源模型与应用

随着移动互联网的兴起,用户数过千万的应用越来越多。为了响应大量的服务请求,互联网公司通过采用分布式服务来提高服务能力,这使得服务之间的关系变得异常复杂。如何在这种动态的复杂的服务网中保证服务的可靠运行变得越来越重要。服务起源作为服务执行历史的存储文件,它记录了不同服务之间的调用信息。对服务起源的存储管理和查询,对于提高服务质量、定位服务瓶颈以及指导资源分配有着至关重要的作用。本文研究了基于图形数据库的服务起源追踪机制,该机制包含服务起源的存储模型和追踪方法。针对服务起源数据存储在关系型和文档型数据库中无法提供高效的服务追踪以及采用图形数据库存储无法进行快速聚合运算等问题,提出了一种基于图的服务起源存储模型。在此存储模型的基础上,提出了基于有向图、基于图模式+关系模式与面向实时任务三种不同的服务追踪方法。基于服务起源追踪机制,本文研究了该机制在分布式服务质量监控中的应用。运用服务起源的追踪运算,进行细粒度的服务状态监控,热点服务分...  (本文共61页) 本文目录 | 阅读全文>>

北京邮电大学
北京邮电大学

WIFI围栏大数据分析系统混合数据存储模型的研究与实现

随着电子商务、社交网络以及移动互联网等应用的不断普及,互联网的使用者贡献出越来越多的数据。而伴随着这些海量数据所带来的系统性能问题也呈现出愈演愈烈的趋势,传统的信息系统不可避免的都会面临着巨大的挑战。因此如何低成本的存储和高性能的访问海量数据已成为目前系统开发需考虑的首要难题。本文中描述的WIFI围栏大数据分析系统是本人所在实验室设计开发的一个基于SpringMVC + MyBatis框架的Web信息系统。随着WIFI围栏设备所采集的数据规模的飞速增长,应用系统对于处理能力的要求使得单纯的依赖于传统关系型数据库的垂直扩展(Scale-up)来提升系统性能的方法变得不再适用。因此本文将系统的应用需求和数据特征作为出发点和立足点,通过对其数据存储层的存储模型进行分析、设计并实现,以期打造一个高效、可靠和安全的信息系统。本文的研究内容主要集中在以下方面:第一,对现有的数据存储模型及其应用场景进行分类总结,并研究它们各自的设计思想;第二...  (本文共69页) 本文目录 | 阅读全文>>

江苏大学
江苏大学

分布式多级索引服务存储模型的研究

近年来,随着信息技术的飞速发展,云计算、物联网以及对等网络等技术也得到充分的了解与研究。这些技术在各种领域的运用,促成了更加便利、快捷的服务供应概念,服务计算因此得到了更大的发展。面向服务的架构方式广泛运用在诸多企业之中,高效的服务发现和组合,以及准确的服务搜索和选择是服务计算的两个重要因素。如何从大规模的服务存储仓库中存储和检索服务成为目前的研究热点,具有一定的理论意义和实用价值。本文对服务计算、对等网络的相关知识进行研究和介绍,在此基础上借鉴已有的研究成果,对服务存储仓库模型以及分布式的哈希表的高效资源发现算法进行较为深入的研究,提出一种分布式的多级索引服务存储模型。本论文的主要研究内容如下:1.本文基于等价理论,提出了一种多级索引服务存储模型,在极大地提高服务发现和组合效率的同时,也最大程度上减少了服务信息的冗余。多级索引服务存储模型基于集合的理论,给出了一些基本的服务检索运算,包括:服务的检索、服务的添加、服务的删除以及...  (本文共62页) 本文目录 | 阅读全文>>