支持向量机理论与基于规划的神经网络学习算法

被引：26

作者：

张铃

机构：

[1] 安徽大学人工智能研究所智能计算与信号处理重点实验室!合肥

来源：

计算机学报 | 2001年 / 02期

关键词：

支持向量机; 规划; 神经网络; 学习算法;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

近年来支持向量机 (SVM)理论得到国外学者高度的重视 ,普遍认为这是神经网络学习的新研究方向 ,近来也开始得到国内学者的注意 .该文将研究 SVM理论与神经网络的规划算法的关系 ,首先指出 ,Vapnik的基于SVM的算法与该文作者 1994年提出的神经网络的基于规划的算法是等价的 ,即在样本集是线性可分的情况下 ,二者求到的均是最大边缘 (maxim al m argin)解 .不同的是 ,前者 (通常用拉格郎日乘子法 )求解的复杂性将随规模呈指数增长 ,而后者的复杂性是规模的多项式函数 .其次 ,作者将规划算法化为求一点到某一凸集上的投影 ,利用这个几何的直观 ,给出一个构造性的迭代求解算法——“单纯形迭代算法”.新算法有很强的几何直观性 ,这个直观性将加深对神经网络 (线性可分情况下 )学习的理解 ,并由此导出一个样本集是线性可分的充分必要条件 .另外 ,新算法对知识扩充问题 ,给出一个非常方便的增量学习算法 .最后指出 ,“将一些必须满足的条件 ,化成问题的约束条件 ,将网络的某一性能 ,作为目标函数 ,将网络的学习问题化为某种规划问题来求解”的原则 ,将是研究神经网络学习问题的一个十分有效的办法 .

引用

页码：113 / 118

页数：6

共 4 条

[1] 神经网络的规划学习算法 [J].