分享到:

前向神经网络学习问题研究及其在转台控制中的应用

本文主要以工程上应用最为广泛的三层多输入单输出前向神经网络作为研究对象,在以下几个方面进行了开创性研究工作。针对前向神经网络学习问题,给出了前向神经网络输出的统一表达形式,从理论上揭示了网络学习问题的数学本质。在此基础上深入探讨了增广网络输入向量相对期望输出在网络学习输入样本集上的可映射性、增广网络输入向量在网络学习输入样本集上存在的线性相关和无效分量冗余形式、隐含层激励函数对网络学习的影响、隐含层学习参数集在网络学习输入样本集上存在的线性相关和无效冗余形式、观测噪声对动态网络学习参数方程的影响、样本期望风险和单个隐含层神经元对样本期望风险的贡献以及它们的估计方法、单个隐含层神经元对隐含层学习参数集冗余性影响的估计方法等,并给出了增广网络输入向量相对期望输出的可映射性约束条件、增广网络输入向量冗余性约束条件、隐含层学习参数集冗余性约束条件、隐含层学习参数集有效性约束条件以及网络结构约束条件。进一步研究了网络学习样本集与网络泛化性  (本文共161页) 本文目录 | 阅读全文>>

《中山大学学报(自然科学版)》2013年02期
中山大学学报(自然科学版)

权值直接确定的三角型模糊前向神经网络

神经网络的研究从20世纪40年代开始,经过半个多世纪的发展,现已成为信息加工、处理、存储和搜索的重要工具[1],在分布式存储、并行性计算、智能控制、通信等方面备受研究者的关注[2-4]。前向神经网络是目前研究最多的网络形式之一,在Rumelhart E.和Williams R.J.等为首的研究小组提出的具有强大学习和训练功能的BP学习算法作用下,使其具有了逼近任意非线性函数的能力。前向神经网络的发展与问题并存,从网络结构来讲,隐层神经元数过少将无法达到学习和逼近的效果,隐层神经元数过多又将使网络出现过拟合等不良现象,同时在硬件实现上也将难以完成。文献[5]利用逼近论对单一隐层前向神经网络进行了研究,在理论层面上阐述了神经网络的本质逼近阶既与隐层神经元个数有关,又与被逼近函数的光滑性有关;随后,曹飞龙等在文献[6]中使用构造法得出了单隐层神经网络逼近定义在紧集上的任意连续函数的逼近速度不超过该网络的最佳多项式逼近的二倍的结论。最近...  (本文共6页) 阅读全文>>

《华南理工大学学报(自然科学版)》2009年05期
华南理工大学学报(自然科学版)

反插值问题的幂激励前向神经网络求解

反插值在工程实践和理论研究中都具有重要的意义.解决反插值问题的传统方法主要是数值法.数值法构造的数学模型比较简单,但计算速度较慢,不能求得函数的全解,而且初值的选取直接影响了正解的精度[1].目前,人工智能技术的发展为实现反插值的高效求解提供了一种新的思路.作为一种非线性动态数学模型,人工神经网络因具有高度的并行性、分布式存储和自适应自学习等优点[2-4]而在智能控制、系统辨识、函数逼近、信号处理和机器人控制等方面得到广泛的应用[5-10].基于误差回传(BP)的神经网络是应用最广泛也是最重要的网络模型之一.幂激励前向神经网络分为输入层、隐层和输出层,与一般3层前向BP神经网络的区别在于,该网络采用了一组阶数逐渐增大的幂函数作为隐层神经元的激励函数[11].在BP神经网络中,传统的BP算法是沿着负梯度方向迭代调整网络权值以实现误差函数不断减小.在前期研究中,笔者提出了一种基于伪逆的幂激励前向神经网络权值直接确定方法[11].该方...  (本文共5页) 阅读全文>>

《计算机应用研究》2005年08期
计算机应用研究

基于强跟踪滤波器训练的前向神经网络及其在系统辨识中的应用研究

1引言对非线性系统的研究一直是近些年来的研究热点,其中应用神经网络的“黑箱”方法是一种具有广阔前景的新方法。神经网络具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力,并且不需要待辨识对象的结构形式、参数的各种先验知识和假设,可以对本质非线性系统辨识。辨识的收敛速度不依赖于待辨识系统的维数,是复杂系统辨识的新的、非传统的方法,近年来有许多成功应用。前向(BP)神经网络是构成多层神经网络的基本结构,它是一种基础性的、使用最广泛的网络。多层前向网络可以以任意精度实现任意的输入/输出非线性映射,是其应用于系统辨识的理论基础。对于前向神经网络学习算法的研究已有很多成果。最初常采用BP算法,但由于其易陷入局部极点,后来又有许多改进方法;之后,一些新的算法被提出,如最小二乘类方法[1]、模拟退火算法[2]、扩展Kalman滤波方法(EKF)[3,4]、遗传算法[5]等。其中扩展Kalman滤波方法有多种应用形式,包括基本扩展Kal...  (本文共3页) 阅读全文>>

《安徽大学学报(自然科学版)》1980年30期
安徽大学学报(自然科学版)

关于前向神经网络的设计问题

0引言自1943年,McCuloch和Pits根据神经元传递中的“0,1律”和神经传递中信号不但有不同的强度,而且有兴奋和抑制两种情况,第一次提出了神经元的数学模型[1]以来,人们就开始进行人工神经网络方面的研究,后几经周折.直到1986年Rumelhart等人提出前向神经网络的概念及其著名的BP算法后,总算有了一个勉强可进行前向网络学习的算法,自此人们对前向网络的设计问题的兴趣更是与日具增.可是这十多年来,人们除对BP算法进行了种种的改进,以及对神经元的功能函数和网络的拓扑结构进行种种变形外,对由M-P模型的神经元构成的前向网络的设计问题并没有提出多少有价值的结果.现在不妨让我们分析一下在这方面的进展情况。BP算法BP算法也许是目前在前向网络的设计和学习中用得最多的方法,此法有它特有的优点:方法的理论依据坚实、推导严谨、形式优美、物理概念清晰、应用广泛.正因为有这些优点,使它仍是目前在多层前向网络的设计中应用最多的方法.但它的...  (本文共11页) 阅读全文>>

《计算机工程与科学》1980年40期
计算机工程与科学

前向神经网络设计问题的回顾与探索

一、引言对人工神经网络理论及应用的研究,在人工智能界已热了十多年,特别是对网络的学习算法(或网络的设计问题)的研究,更是热火朝天。其中研究最多的要算是对前向神经网络学习算法(设计)的研究,但是迄今尚未有一个切实可行的令人满意的方法,故对此问题仍有研究的必要。二、前向神经网络的设计问题的回顾1943年,McCuloch与Pits[1]根据神经传输中的“0,1”律,第一个提出神经元的数学模型,即M-P神经元模型,其模型如下:将神经元看成是一个有n个输入和一个输出的元件,此元件的功能函数为y=σ(W*x-θ),其中σ是符号函数,即σ(x)=1-1{,x>0,x≤050年代末,F.Rosenblat设计了感知机。1969年,Minsky与Papert出版了一本名字也叫“感知机(Percetron)”[2]的著作,指出感知机的功能很有限,它不能解决“异或(XOR)”问题,并首先提出“线性可分”的概念,即第一个意识到M-P神经元模型的几何意...  (本文共10页) 阅读全文>>