分享到:

二进前向网络的分类超平面理论

本文提出并建立了一整套对二进前向网络分类能力进行研究的分类超平面理论,系统地解决了前向网络研究中一个困难的公开问题:二进前向网络的分类能力问题,亦即n元Boole函数非线性分类复杂度的最小上界问题,同时进行了一系列有关问题的研究,这些研究结果为二进前向网络隐节点数目的设计和稳健二进前向网络的设计提供了重要的理论依据。造成这一问题难解的主要原因是它是一个高维空间中的强非线性问题,而关于二进前向网络的非线性分类行为目前还知之甚少。本文则从一个全新的角度,通过开创性地引入一系列新概念,系统地彻底地解决了这一问题,使得n输入的二进前向网络隐节点数目的上界从目前国际上的约为2/3的指数级下降到了2n—4的多项式级(n≥5时),是隐节点数目的最小上界,该项研究结果表明,二进前向网络的分类能力比人们想象的要强得多得多。同时,本文的研究过程第一次系统地揭示了二进前向网络非线性分类的分类行为,揭示了最优的二进前向网络是网络稳健性能优化、网络参数优  (本文共227页) 本文目录 | 阅读全文>>

《系统工程与电子技术》1990年20期
系统工程与电子技术

稳健二进前向网络的遗传训练方法

1引言知识的表示、推理和解释在数据融合、专家系统、知识工程等领域都有着重要的应用。二进前向网络对逻辑知识具有非常强的隐式表示能力,然而这种对知识的隐式表示能力到底有多强,目前还不清楚。其正问题为针对一个特定的问题,网络的隐层数和每层的隐节点数应选为多少;逆问题为对于一个特定的网络,它能表示的知识量有多少,以及如何设计网络的连接权和阈值才能保证这一网络能够获得对输入数据的最大稳健能力,这些问题至今在理论上并未得到解决。我们的研究结果[9]表明,稳健二进前向网络是对知识的隐式和显式表示的有机统一体,是性能优良的逻辑知识库、推理机和解释器。实际上,网络对知识的表示能力就是网络的分类能力,对网络的分类能力进行理论研究的典型代表是XOR问题和n维Bool函数的线性和非线性可分问题[2,3],这就需要研究网络的理想输入模式为各输入量只取0和1的二进信号模式时网络的分类能力,这时的前向网络称为二进前向网络。因二进前向网络是对n维超立方体B...  (本文共6页) 阅读全文>>

《湖北师范学院学报(自然科学版)》2005年01期
湖北师范学院学报(自然科学版)

最优分类超平面的几何意义

0 引言  一般机器学习问题可理解为相似输入如何给出相似的输出,而相似输入可以用核函数表示,相似的输出用损失函数来刻划 [1]。统计学习理论是研究包括统计模式识别在内的有限样本下的机器学习问题,它从理论上较系统地研究了经验风险最小化原则使用的前提,有限样本下分类能力 (泛化能力)的影响因素及由此找到新的学习原则和方法等问题。统计学习理论被认为是小样本统计估计和预测的最佳理论。在统计学习理论基础上发展出了一种新的模式识别方法———支持向量机 (1992年 ~1995年 ),在解决小样本、非线性及高维模式识别问题中表现出了许多特有的优势, (如广泛应用于人脸识别、文本识别、手写体识别等领域较其它分类方法具有较高的分类精度),及能够推广应用到函数拟合等其他机器学习问题中,使之已成为国际上继模式识别和神经网络之后,机器学习领域新的研究热点。目前,对SVM研究主要集中在如何使用它上,由此产生的问题主要包括有:如何针对问题选取核函数或确定核...  (本文共3页) 阅读全文>>

《计算机科学与探索》2019年02期
计算机科学与探索

基于混合采样的非平衡数据分类算法

1引言大数据时代的到来使得基于数据的知识获取成为可能,促进了数据密集型科学的发展。分类是机器学习和数据挖掘中重要的信息获取手段之一,但传统的分类算法没有考虑数据的平衡性,在非平衡分类问题上仍面临着巨大挑战。例如在医疗诊断[1]、网络入侵检测[2]等问题中,关注的事件在所有数据记录中占比都极小,但是将其错误分类却会带来无法估量的代价。将数量占多数的类称为多数类,占少数的类称为少数类,在非平衡数据中对少数类的正确分类往往比多数类更有价值。例如在癌症检测领域中,健康人的数量远大于患病人的数量,但更注重对真正患病人的识别率。因此如何对非平衡数据集进行正确分类,提高少数类的分类精度成为分类问题中的一个难点[3]。并且多类问题通常可以简化为两类问题来解决,因此非平衡数据集分类问题的研究重点也就转化为提高两类问题中的少数类的分类性能[4]。目前,国内外学者对非平衡数据分类问题的常用策略大致分为算法层面的方法和数据层面的方法。算法层面主要有代价...  (本文共8页) 阅读全文>>

《电子学报》1990年10期
电子学报

前向网络隐空间分类超平面的构造

一、引言模式分类是前向网络的基本功能之一[8],对于单隐层前向网络进行两类模式的分类问题,隐层神经元或说输入至隐层的连接权将输入空间中的线性不可分模式映射为隐空间中的线性可分模式,并用输出神经元或说隐层至输出的连接权实现对隐空间中的线性可分模式的有效分类.[6]中详细讨论了对k维超立方体顶点进行稳健分类的稳健分类超平面的标准方程及其性质,本文则运用[6]的结果,经分析得到了任一两类模式问题,都可用值为+1的隐层至输出层的连接权和有限的几个负整数加12的输出神经元的阈值实现对模式的正确分类.这个结果使得网络的隐层至输出层1.无需乘法器,实现容易;2无需训练,大大缩小了网络参数的寻优空间.这一结果也可容易地推广到多类模式的分类问题.首先引入如下记号:1因仅考虑两类模式(称为红色点集模式和蓝色点集模式),记两个模式中的红色点集为Vr,蓝色点集为Vb,这样相应的两类模式问题就是对有序的(Vr,Vb)进行有效分类的问题;2如果两类问...  (本文共4页) 阅读全文>>

《计算机系统应用》2018年07期
计算机系统应用

不平衡数据集中分类超平面参数优化方法

传统的SVM算法通过分类超平面来判断样本的类别,在解决不平衡数据的分类问题时,分类结果会偏向于多数类样本点集合,使得少数类样本点的分类正确率低,而多数类分类准确率高.当前针对不平衡数据集SVM分类的改进,一般集中在数据清洗和算法改进两个方向上.许多学者都提出了具有代表性的改进方法,如对于样本的欠采样方法SMOTE[1],过采样方法Tomek links[2]以及它们相应的改进算法[3,4],都是通过不同方法增加少数类样本或减少多数类样本,来达到使得不同类别中的样本数量基本相当的目的.在算法层面上,代价敏感学习方法[5]对不平衡数据集中少数类和多数类分别设置不同的惩罚参数,通过调整不同类别的惩罚参数,提高不平衡数据集的分类效果,Huang[6]改进了代价敏感学习,通过结合极限学习机来实现动态代价敏感学习;集成学习方法[7]提出构造不同的弱分类器,对每个弱分类器设置一个权重并组合成一个强分类器对不平衡数据集进行分类,在集成学习方法的...  (本文共5页) 阅读全文>>

《计算机工程》2011年16期
计算机工程

基于中间分类超平面的SVM入侵检测

1概述针对支持向量机(Support Vector Machine,SVM)[1]在大规模网络数据入侵检测中训练和检测速度慢、实时性差的问题。文献[2]将无监督聚类算法用于入侵检测SVM训练样本的化简;文献[3]将k-最近邻方法与k-means算法相结合,实现SVM训练样本的缩减。以上聚类支持向量机(Cluster SVM)入侵检测方法均采用聚类簇中心代替整个训练样本完成SVM训练,虽然提高了SVM方法的训练和检测速度,但由于舍弃了相当数量的有效支持向量,明显地降低了SVM分类精度。本文提出一种基于中间分类超平面(Middle Classified Hyperplane,MCH)的SVM入侵检测方法。该方法在对正负类样本分别进行聚类的基础上,构造一个中间分类超平面,实现训练样本的简化。2基于中间分类超平面的SVM入侵检测方法2.1簇中心的边界面接近度因子定义定义1(类间簇中心距离矩阵)若正负类样本的聚类簇中心数目分别为C+,C?...  (本文共3页) 阅读全文>>