分享到:

图像处理引擎的威力

同样的景色、同样的旅程,但在不同人的描述下会产生截然不同的效果:在散文大师的笔下,那可能是像天堂一样的景致和感受;但如果听一个不善言辞的人描述,你也许会觉得索然无味。正是人脑这个“处理引擎”给原始的图像增添了不同的色彩,每颗“处理器”的取舍、重点不同,形成的最终结果也迥然相异。 $$在数码相机的使用过程中,我们也经常会有这样的感受,明明是同样的场景、同样的CCD器件、相似规格的镜头,但不同品牌的数码相机会得到存在明显差异的图像,这就是图像处理引擎不同所导致的。如果和传统摄影流程相比,我们可以把图像处理引擎的作用和胶卷冲洗等暗房工艺相提并论,这常常是大师与摄影爱好者的最终区别。更何况图像处理引擎还承担着测光、对焦、白平衡等一系列“额外”工作,它对数码相机成像效果的影响已经引起厂商和用户的关注。 $$引擎的核心地位 $$〖TPJS025100,+58mm。106mm,BP〗$$一般而言,我们所说的数字图像处理引擎是负责将数字化的CC...  (本文共2页) 阅读全文>>

北京邮电大学
北京邮电大学

动态自适应的流式数据处理引擎的设计与实现

传统的批处理系统和流处理系统主要针对大规模数据实时处理的需求,系统的开发和部署复杂,数据处理应用的重构和使用困难。随着应用性能管理的发展,迫切需要一种轻量级的,具备良好重构能力的流处理引擎,以应对应用性能管理所需的多源结构化日志数据的流式处理需求。论文针对应用性能管理的数据处理需求,分析了现有流处理系统在集群节点动态管理、消息持久化、消息恢复、任务并发执行等方面存在的问题,提出了一种动态自适应的流式数据处理方法。该方法通过引入基于ZeroMQ的集群对等节点广播策略和基于Redis的AOF持久化特性的时间窗口算法,解决了 Kafka这类传统流式数据处理引擎,在应对应用性能管理数据分析系统时容易出现的集群节点同步不及时、消息恢复慢、集群配置过于复杂的问题,提高了节点数据处理的可靠性和集群管理的高效性。论文首先分析了应用性能管理系统的集群节点管理需求和节点故障恢复需求,设计了一个包含分布式处理引擎、流处理节点代理的动态自适应流式数据处...  (本文共89页) 本文目录 | 阅读全文>>

广东工业大学
广东工业大学

面向制造物联云服务的复杂事件处理引擎研究

随着物联网技术的不断发展,一种物联网+制造业的新型制造模式已然形成。对于如何从制造过程里产生的海量、多源数据中提取企业所需要的信息,该模式通常会在数据采集层之上,通过上位机来实现企业的目标。但由于企业间的业务具有多样性,且制造流程多变,一旦企业增加了某个设备要实现某个业务时,就需要对上位机进行重构,导致企业的研发实施成本高,资源不能够统一管理,且传统的数据处理方式已经满足不了新的制造模式对于数据处理实时、高效、快速的要求。本文通过引入制造物联云平台,将制造过程中的设备、人员、网络、应用等基础设施统一接入云平台,实现资源的统一管理,使企业可以根据自己的需求友好地从云平台中获取所需要的资源,并实现业务与基础设施的解耦,将业务交给分布式复杂事件处理引擎处理,使云端的各个模块能够更加专注于本模块的设计与实现,提高了系统的可扩展性。本文的主要研究内容包括:(1)通过对国内主流云平台在制造领域使用情况的分析,本文选择了阿里云平台作为本课题的...  (本文共72页) 本文目录 | 阅读全文>>

北京邮电大学
北京邮电大学

基于分布式事件分发的复杂事件处理引擎的设计与实现

随着物联网大数据时代对实时处理海量数据的迫切需求,人们对复杂事件处理技术越来越重视。但是,传统的基于集中式复杂事件处理引擎,经常因为网络拥塞、单点失效和网络状况的不稳定性因素,引起高延迟性、低并发、单点不可逆性故障等问题。基于以上原因,本论文提出了一种基于分布式事件分发的复杂事件处理引擎。基于分布式事件分发的复杂事件处理引擎,依托于分布式事件分发通信系统,即统一消息空间,在设备层和应用层之间形成一个分布式的复杂事件实时处理机制和虚拟数据服务支持平台。本论文主要工作包括结构化命名规则、分布式事件分发通信系统、复杂事件数据源模块,事件监听器模块四个核心部分,阐述一种高并发、海量数据、低延迟性,并且基于分布式事件分发的复杂事件处理引擎的设计与实现,同时概述了两种核心算法,分别是数据源实时连接算法和事件监听算法。最后,本论文进行了功能测试和性能测试。功能测试,分别从简单事件场景和复杂事件场景两个方面进行场景模拟验证,结果表明本论文设计实...  (本文共69页) 本文目录 | 阅读全文>>

《武汉商业服务学院学报》2012年02期
武汉商业服务学院学报

RFID复杂事件处理引擎

射频识别(Radio Frequency Identification)技术是从20世纪80年代产生并发展起来的一项自动识别技术,近年来被广泛的应用在物流的各个领域。通过RFID硬件,可以自动的获得RFID标签信息,由于RFID阅读器可以同时获取多个标签的信息,读取范围也较大,阅读器会产生大量的标签信息,这些标签信息本身并不具有业务含义,还包含大量的冗余内容,如果不加处理的全部提交给物流系统的应用软件将造成上层应用极重的负担。因此担负RFID系统原始标签信息和系统应用之间中介的RFID中间件,将原始的RFID数据处理后再提交给上层应用成为了RFID技术的一个重要研究内容。本文详细介绍了一种RFID中间件的算法模型,该中间件通过RFID事件编码、清洗过滤、规则定义、目标事件识别,可以将RFID原始的标签信息翻译成物流业务事件,并且可以通过二叉树灵活的定义和处理各类复杂事件。一、RFID复杂事件处理引擎框架本文设计的RFID复杂事件...  (本文共3页) 阅读全文>>

华中科技大学
华中科技大学

网络入侵检测系统的数据包头处理引擎的设计

在基于网络数据流量的入侵检测系统中,系统的瓶颈是数据包的包头处理引擎的处理速度。在一个实时的应用环境中,所有最后的入侵检测分析结果的可靠性都依赖与包头处理引擎处理网络数据包的速度和稳定性。数据包包头处理引擎要完成的一个主要工作是数据包的分用和汇集,分用是指将当前数据报定位到相应的会话,汇集是指按主机进行各种统计量的累加。为了提高数据包包头处理引擎处理数据包的速度和可靠性,本论文对网络通信进行了逻辑上的分类,对每种通信类型给出了一个高效的数据包定位到会话并将会话中各种统计量进行汇集的算法。为了提高系统的稳定性,引擎模型采用两套静态的内存池管理方案。引擎对应一个生产者,生产的数据放在某一个内存池A中。当定时信号触发时,引擎切换到另一个内存池B上工作,继续向内存池B中生产数据,同时入侵分析模块作为一个消费者使用内存池A中的数据。两套内存池由定时信号触发轮换,引擎所对应的线程和入侵分析模块对应的线程使用互斥量和条件变量进行同步。本论文在...  (本文共55页) 本文目录 | 阅读全文>>