分享到:

物流企业数据仓库的设计与实现

论文以一家商业物流企业的实际应用为背景,对数据仓库技术及其在中小型物流企业中的应用进行了探讨,并提出了一套以易扩展的维度建模和基于触发的变化数据捕获为核心的数据仓库构建方法。易扩展的维度建模方法主要用来解决企业业务模式复杂的业务特点,论文中详细分析了易扩展的维度建模方法的实现方法,并用这种方法完成了数据仓库的模型设计。基于触发的变化数据捕获方法主要用来解决企业数据修改频繁的业务特点,论文中探讨了基于触发的变化数据捕获的具体实现方法以及它的一种简化实现方法,并用这种简化方法完成了数据仓库中的变化数据捕获的设计。论文中还系统的分析了数据仓库的整个开发生命周期。并在实际应用中以Microsoft SQL Server 2000为关系型存储引擎,以Data Transformation Services作为数据的抽取-转换-加载工具,以Brio Enterprise的BrioQuery Designer 6为数据展示的开发工具进行了数据  (本文共102页) 本文目录 | 阅读全文>>

华南理工大学
华南理工大学

基于Spark的物流企业数据仓库的设计与实现

随着互联网技术和电商行业的快速发展,物流企业也迅速成长起来,随之而来的便是在物流企业中产生了海量的物流数据;这些海量的物流数据一般都具有大数据的基本特征,物流企业如果采用大数据技术对这些海量数据信息进行数据挖掘和分析,将会获得一些对企业有价值的结果,它能够帮助企业决策人员深入了解和掌握物流企业内部的整体运转情况,对物流企业进一步的科学发展有重要的现实意义。物流企业的数据首先必须及时地保存在数据库中,然后才能进行数据分析和处理;但是现有的物流企业所采用的数据库技术在面对海量的物流数据的存储和分析处理需求时,存在着高代价和低效率的缺点。针对这个问题,本文提出了采用最新的分布式数据仓库技术来对物流企业中的海量数据进行存储管理的思想,重点对构建数据仓库的关键技术---基于Spark的分布式ETL系统和物流企业数据仓库的构建方法进行了较深入的分析和研究。本文所做的主要研究工作和创新性研究成果如下:1、设计和实现了一种基于Spark的分布式...  (本文共76页) 本文目录 | 阅读全文>>

《现代电子技术》2016年16期
现代电子技术

海量冗余数据干扰下的网络数据捕获和分析系统研究

传统的网络信号捕获方法通过滑动相关法分析本地样本信号与接收网络信号的关联性,实现信号捕获,但当网络中存在海量冗余数据干扰时,占空较小,容易在无信号时间区间形成大量的噪声,导致网络信号误捕获的问题。因此,提出基于Winpcap网络和k...  (本文共5页) 阅读全文>>

吉林大学
吉林大学

基于流式计算的实时数据捕获分析系统

由于金融行业与数据的紧密联系,金融行业对数据处理的安全性、稳定性、实时性有着很高的要求。在金融行业的内部网络中存在着巨大的、持续性的数据流,这些流动的数据,在进行延时性或者实时性分析处理后,有着自己独特的价值。区别于批量延时处理时庞大的数据源对于计算速度的几何增长,海量在线流式数据的处理也因为对实时性的严格要求而具有较大的难度。本文主要研究了如何处理金融行业的海量流式数据以及构建基于分布式处理机制的流式数据捕获分析架构。在数据捕获分析的功能基础上,构建了一套由相关服务协作而成的系统,同时兼顾实现了数据API服务和数据推送、网络情况监控的服务。首先,设计了一套基于网络数据捕获的分布式流式数据处理系统,针对实验所要面对的MBPS(MBits Per Second)级别的数据。建立了基于网络的分布式计算系统,基于Pcap网络数据捕获,配合分布式计算系统,通过采用多主机网络协作的方式,完成了对于数据的实时高速解析。同时,对比了两种常见的...  (本文共65页) 本文目录 | 阅读全文>>

南京大学
南京大学

高速网络数据捕获的研究及监控系统设计

网络技术的进步推动了互联网的发展,宽带与光纤的接入方式已经逐渐的普及,人们的生产生活的各个方面都已经离不开互联网的存在,因此,保障网络运行状态的稳定和网络的安全显得尤为重要。对网络进行监控是获取网络运行状态和安全信息的一种方法,而捕获网络中的数据包并进行分析是网络监控的重要手段之一。本文中首先分析了 Linux操作系统中网络设备收到数据包直到内核网络协议栈处理数据包的流程,阐述了主机由交换机连接网络中数据包捕获的原理,研究并比较了传统数据捕获方法和内存映射的数据捕获方法,以Linux内核空间和用户空间通信机制为基础,提出了一种基于网卡驱动使用字符设备捕获数据包的方法,该方法对于在速度较高时捕获大小较大的数据包具有较好的效果。在研究了数据捕获方法的基础上,通过对数据捕获与监控的需求分析,设计了一个数据捕获与监控系统,该系统可以对交换机的某个端口的镜像端口进行数据捕获,它可以在数据包发送速率较高、网络带宽较大的情况下工作而几乎不发生...  (本文共74页) 本文目录 | 阅读全文>>

《中国数字医学》2014年03期
中国数字医学

电子数据捕获在临床试验中的快速设计与实现

目的:快速设计并实现高可用电子数据捕获系统,使其像epidata一样简单易用。方法:在软营模式下,建立标准化电子数据采集管理系统框架,...  (本文共4页) 阅读全文>>

《电脑知识与技术》2009年07期
电脑知识与技术

数据库同步中差异数据捕获方案设计与实现

差异数据捕获是数据库同步的基础,对其它环节的影响也非常大。差异数据捕获不仅要获得复制对象的变化序列...  (本文共3页) 阅读全文>>