分享到:

基于层次数据格式海量数据预处理关键技术研究

科学计算可视化是分析海量数据的有效手段。目前数值计算、遥感卫星等领域产生的数据集通常具有大规模、高维、复杂与时变等特点,这些应用对传统的数据预处理技术与方法提出了新的要求和挑战。层次数据格式(Hierarchical Data Format 5,HDF5)库是当前国际上进行大规模科学数据管理的有效软件,HDF5库逐步成为国际主流科学数据管理的标准。本文面向海量科学数据可视化需求,在深入研究与分析HDF5库的多I/O访问机制、压缩与分块机制及并行访问模式的基础上,基于HDF5库对大规模科学数据压缩、并行搜索模型、数据并行转换算法及可视化并行应用等关键技术进行了深入研究,并完成了相关算法实现。本文的主要工作和研究成果包括:(1)针对传统数据压缩算法在处理科学数据时,存在压缩比低、压缩与解压时间长的问题,本文对Rice数据压缩算法进行了研究。针对Rice算法中一维差分预测方法不能有效剔除冗余数据的问题,提出一种新的二维差分预测方法,该  (本文共67页) 本文目录 | 阅读全文>>

《兰台世界》2008年08期
兰台世界

关于我国档案元数据格式的建议

随着现代信息技术的迅猛发展,世界发达国家的数字档案建设突飞猛进,同时我国数字档案的建设也取得了令人瞩目的成绩。由于数字档案建设要求网络化和国际化,元数据在档案资源管理开发利用中应运而生,并在档案界实际应用中取得了最新的成果。本文将介绍国外先进国家的档案元数据标准建设概况,结合我国档案元数据的初级阶段,提出我国档案元数据格式应以DC为基础的格式框架建设,充分扩展和修整以进一步建立一个档案元数据集的建议,供档案界同仁参考。一、元数据的概念、功能及用途元数据,英文名为(metadata),是美国著名电子文件专家戴维·比尔曼提出并引入电子文件领域的[1,2,5]。最早是出现在计算机信息领域,目前已在多个专业领域,如图书情报、博物馆及档案等领域中得到广泛应用。如今,电子文件管理元数据已经成了档案数字化研究中的基础项目。元数据的定义就是,用于提供某种资源的有关信息的结构化数据。简单地说,元数据就是关于数据的数据,这一概念对档案工作人员来说可...  (本文共2页) 阅读全文>>

《微型机与应用》1989年05期
微型机与应用

一个将WordStar的文本文件数据格式转化为通用数据格式的程序

eode坛cst能盯吐pro仁孟王5 Stlnle山)v油U卜U的卜月n.datanXdata02hx, 5,5:a .dJ以 Wordstar(下面简称WS)和Personal Edi,(下面简称PE)是微型计算机IBM PC/XT上最常用的二个文字编辑程序,最近美国的WordPerfect公司又推出了一个新的编辑程序WordPerfect(下面简称WP)。ws以丰富的打印控制命令见长,PE以编辑操作简单方便而且可以同时编辑数个文件显优。谕wP以其词汇库而具有查错等独特功能,因此在实用中往往同时借助这几个程序来更有效地编辑、查错、修改并打印文本文件。PE和wP的文体文件均采用通用数据格式,WS将文本文件中每个单词的最后一个字母的八SCll码的最高位置l,而且换行符采用了SDH和ODH两种命令符,因此虽然PE和WP编辑的文本文件ws能调用,但是WS编辑过的文本文件PE和WP调入后却不再是文件原样。为了解决这个问题,同时增强这三个...  (本文共2页) 阅读全文>>

北京邮电大学
北京邮电大学

一种嵌套数据格式的描述文法及其解析工具的设计与实现

数据的编码和数据解析一直都是数据传输、数据存储中比较重要的问题,这也常常出现在实际项目中。虽然存在很多较为通行的数据格式和编码标准,但是在对数据的实际操作中还是会出现用户自定义的数据格式以及数据编码方法。用户自定义数据的多样性表现在数据结构、用户对数据的描述方式以及采用的编码方式,也正是由于采用的数据描述和数据编码方式不统一,导致在解析不同结构数据时对一些差异性小的代码重复开发,这一定程度上造成了工作量的浪费。针对这些问题,本文设计了两种解决方式,并对这两种方式分别进行了实现。本文首先设计的是基于一种描述文法和数据编码规则的解析方式,并在此基础上进行软件的实现。其中数据描述文法是一种对数据结构进行描述的文法规定,软件可以对数据描述文件读取并进行解析。软件也规定了一种数据格式,这里的数据格式主要是决定了软件可以读取什么类型的数据,为了增强软件的通用性,也提供了数据的转换功能。在这种解析方式中所设计的编码方式主要是当用户没有明确采用...  (本文共84页) 本文目录 | 阅读全文>>

《航天标准化》2011年04期
航天标准化

国外遥感数据格式标准及启示

随着各种高分辨率遥感卫星的成功发射,卫星遥感数据正以几何级的速度增长,如何操作这些海量的卫星遥感数据,使得遥感数据为各个领域的人们提供遥感信息服务,这必然给遥感数据的共享带来严峻的挑战。在数据共享实践中,其核心问题是数据格式不统一,解决的办法通常是提出通用数据交换格式。目前,国外已有比较成熟的数据格式标准,如国外SAR卫星数据的统一格式是CEOS,美国的高光谱数据MODIS的格式为HDF5。然而,国内还没有统一的遥感卫星数据标准格式,各个行业如气象、林业、资源等卫星的数据由于没有统一的格式而存在无法共享的情况。随着我国高分辨率遥感卫星的陆续发射,特别是陆地观测卫星的发射,将会产生大量来自不同卫星平台、不同有效载荷的遥感卫星数据,如果没有统一的数据格式标准,将会对后续的遥感数据处理、分发甚至共享带来许多问题。因此,急需遥感卫星数据产品格式、数据产品分级分类等相关标准的制定。1国外遥感数据格式国外遥感数据格式已较为成熟,形成了目前主...  (本文共4页) 阅读全文>>

《大学图书馆学报》2004年02期
大学图书馆学报

学科信息门户元数据格式的选择与设计

1引言源类型(如资源集合、数据集、软件等)、物理媒体类学科信息门户是针对特定学科或主题领域,按型、知识产权拥有者、可用性(需要付费或者注册)、照一定的资源选择和评价标准、规范的资源描述和存取的软件要求(如需要特定的浏览器)、质量分级、组织体系,对具有一定学术价值的网络资源进行搜目标用户(如大学生)等等。集、选择、描述和组织,并提供浏览、检索、导航等增(2)用户的信息检索需求。用户可能从哪些字段值服务的专门性信息门户Il]。从国内外学科信息门进行检索,在检索结果中希望哪些字段出现,以及对户的建设和发展来看,它已经成为解决网络信息过检索结果的排序方式或其他后续处理要求等,对于载问题的有效途径和手段之一,也是图书馆界利用最终确定门户应该包含哪些元数据属性有着关键性传统的文献信息处理经验和技术,结合现代信息技的影响,还可能对元数据的编码格式、编目规则产生术,在网络信息资源组织和开发利用方面作出的积影响。极贡献之一。(3)门户的知识组织体...  (本文共3页) 阅读全文>>