分享到:

图像处理引擎的威力

同样的景色、同样的旅程,但在不同人的描述下会产生截然不同的效果:在散文大师的笔下,那可能是像天堂一样的  (本文共2页) 阅读全文>>

北京邮电大学
北京邮电大学

动态自适应的流式数据处理引擎的设计与实现

传统的批处理系统和流处理系统主要针对大规模数据实时处理的需求,系统的开发和部署复杂,数据处理应用的重构和使用困难。随着应用性能管理的发展,迫切需要一种轻量级的,具备良好重构能力的流处理引擎,以应对应用性能管理所需的多源结构化日志数据的流式处理需求。论文针对应用性能管理的数据处理需求,分析了现有流处理系统在集群节点动态管理、消息持久化、消息恢复、任务并发执行等方面存在的问题,提出了一种动态自适应的流式数据处理方法。该方法通过引入基于ZeroMQ的集群对等节点广播策略和基于Redis的AOF持久化特性的时间窗口算法,解决了 Kafka这类传统流式数据处理引擎,在应对应用性能管理数据分析系统时容易出现的集群节点同步不及时、消息恢复慢、集群配置过于复杂的问题,提高了节点数据处理的可靠性和集群管理的高效性。论文首先分析了应用性能管理系统的集群节点管理需求和节点故障恢复需求,设计了一个包含分布式处理引擎、流处理节点代理的动态自适应流式数据处...  (本文共89页) 本文目录 | 阅读全文>>

广东工业大学
广东工业大学

面向制造物联云服务的复杂事件处理引擎研究

随着物联网技术的不断发展,一种物联网+制造业的新型制造模式已然形成。对于如何从制造过程里产生的海量、多源数据中提取企业所需要的信息,该模式通常会在数据采集层之上,通过上位机来实现企业的目标。但由于企业间的业务具有多样性,且制造流程多变,一旦企业增加了某个设备要实现某个业务时,就需要对上位机进行重构,导致企业的研发实施成本高,资源不能够统一管理,且传统的数据处理方式已经满足不了新的制造模式对于数据处理实时、高效、快速的要求。本文通过引入制造物联云平台,将制造过程中的设备、人员、网络、应用等基础设施统一接入云平台,实现资源的统一管理,使企业可以根据自己的需求友好地从云平台中获取所需要的资源,并实现业务与基础设施的解耦,将业务交给分布式复杂事件处理引擎处理,使云端的各个模块能够更加专注于本模块的设计与实现,提高了系统的可扩展性。本文的主要研究内容包括:(1)通过对国内主流云平台在制造领域使用情况的分析,本文选择了阿里云平台作为本课题的...  (本文共72页) 本文目录 | 阅读全文>>

北京邮电大学
北京邮电大学

基于分布式事件分发的复杂事件处理引擎的设计与实现

随着物联网大数据时代对实时处理海量数据的迫切需求,人们对复杂事件处理技术越来越重视。但是,传统的基于集中式复杂事件处理引擎,经常因为网络拥塞、单点失效和网络状况的不稳定性因素,引起高延迟性、低并发、单点不可逆性故障等问题。基于以上原因,本论文提出了一种基于分布式事件分发的复杂事件处理引擎。基于分布式事件分发的复杂事件处理引擎,依托于分布式事件分发通信系统,即统一消息空间,在设备层和应用层之间形成一个分布式的复杂事件实时处理机制和虚拟数据服务支持平台。本论文主要工作包括结构化命名规则、分布式事件分发通信系统、复杂事件数据源模块,事件监听器模块四个核心部分,阐述一种高并发、海量数据、低延迟性,并且基于分布式事件分发的复杂事件处理引擎的设计与实现,同时概述了两种核心算法,分别是数据源实时连接算法和事件监听算法。最后,本论文进行了功能测试和性能测试。功能测试,分别从简单事件场景和复杂事件场景两个方面进行场景模拟验证,结果表明本论文设计实...  (本文共69页) 本文目录 | 阅读全文>>

《武汉商业服务学院学报》2012年02期
武汉商业服务学院学报

RFID复杂事件处理引擎

RFID目前被广泛用于物流各个领域,但是RFID阅读器会产生海量RFID原始数据,这些数据不仅存在冗余,杂波,还不能直接反应业务事件,如果直接把...  (本文共3页) 阅读全文>>

华中科技大学
华中科技大学

网络入侵检测系统的数据包头处理引擎的设计

在基于网络数据流量的入侵检测系统中,系统的瓶颈是数据包的包头处理引擎的处理速度。在一个实时的应用环境中,所有最后的入侵检测分析结果的可靠性都依赖与包头处理引擎处理网络数据包的速度和稳定性。数据包包头处理引擎要完成的一个主要工作是数据包的分用和汇集,分用是指将当前数据报定位到相应的会话,汇集是指按主机进行各种统计量的累加。为了提高数据包包头处理引擎处理数据包的速度和可靠性,本论文对网络通信进行了逻辑上的分类,对每种通信类型给出了一个高效的数据包定位到会话并将会话中各种统计量进行汇集的算法。为了提高系统的稳定性,引擎模型采用两套静态的内存池管理方案。引擎对应一个生产者,生产的数据放在某一个内存池A中。当定时信号触发时,引擎切换到另一个内存池B上工作,继续向内存池B中生产数据,同时入侵分析模块作为一个消费者使用内存池A中的数据。两套内存池由定时信号触发轮换,引擎所对应的线程和入侵分析模块对应的线程使用互斥量和条件变量进行同步。本论文在...  (本文共55页) 本文目录 | 阅读全文>>