第28卷第1期 20 1 6年3月 湖南文理学院学报(自然科学版) Journal of Hunan University of A ̄s and Science(Science and Technology) VO1.28NO.1 Mar.2016 doi:10.3969 ̄.issn.1672-6146.2016.01.012 求解二次规划问题的快速收敛梯度神经网络模型设计及仿真 肖林·,严慧玲z,周文辉 (1.吉首大学信息科学与工程学院,湖南吉首,416000;2.吉首大学数学与统计学院,湖南吉首,416000) 摘要:为了实现对二次规划问题的求解,提出了一个快速收敛的梯度神经网络模型。不同于传统的梯度神经 网络设计方法,快速收敛的梯度神经网络模型加入了一个非线性激励函数,从而加快了求解二次规划问题的 收敛速度。而且,通过调节设计参数的取值,收敛速度可以得到进一步加快。计算机对比仿真结果验证了快 速收敛的梯度神经网络模型的有效性和优越性。 关键词:快速收敛;二次规划;梯度神经网络;非线性激励函数;仿真验证 中图分类号:TP 183 文章编号:1672-6146(2016)01-0051.Jo4 Design and simulative verification of fast convergent gradient neural network for solving quadratic programming problems Xiao Lin ,Yan Huiling ,Zhou Wenhui (1.College ofInformation Science and Engineeirng,Jishou Universiy,Jitshou 416000,China;2.College of Mathematics nd aStatistics,Jishou Universiy,Jitshou 416000,China) Abstract:In order to solve online quadratic programming problem,a fast convergent gradient neural network model is presented.Diference from the design method of the conventional gradient neural network,the fast convergent gradient neural network model can accelerate the convergence speed of online solution of quadratic programming problem by adding a nonlinear activation function.In addition,by increasing the value of he desigtn parameter,the convergence speed Can be further improved.Computer comparison—simulation results verify the effectiveness and superior of fast convergent gradient neural network. Key words:fast convergence;quadratic programming;gradient neural network;nonlinear activation function; simulatjon verification 二次规划问题是一类非常重要的数学规划问题,广泛应用在许多不同的科学和工程领域中,例如 图像和信号处理、衰退分析、机器人控制、投资组合、混合流水车间调度、调水决策和水分配等 。 马尔科维茨正是因为提出二次规划问题获得诺贝尔经济学奖,在寻求达到所要求收益率的最小方差投 资组合时,运用二次规划模型,人们可以科学而准确地分析与选择证券投资的策略,使得证券组合选择 方法实现了从定性描述到定量描述的转变 。 人工神经网络是由大量简单的神经元相互连接,通过模拟人的大脑神经处理信息的方式,进行信 息并行处理和非线性转换的复杂网络系统。由于神经网络具有强大的学习功能,同时具有平行与分布式 特征,可以轻松地实现非线性映射过程,并且具有大规模并行计算能力。与传统的优化算法相比,人工 神经网络具有收敛速度快,能够进行实时控制,可以完成硬件实现等优点[5 。作为一门新兴学科,人工 通信作者:肖林,xiaolin860728@163.com。收稿日期:2015--09-25 基金项目:国家自然科学基 ̄(61503152,61563017);湖南省教育厅优秀青年项 ̄(15B192);吉首大学2015年实验教学 改革研究项目(2015SYJG034);吉首大学2015年实验室开放基金项目(JDLF2015013);吉首大学2015年校级 课题(15JDX020);吉首大学2015年大学生研究性学习和创新性实验计划项目资助。 52 湖南文理学院学报(自然科学版) 神经网络被认为是解决优化问题的一种最有前景的方法。1986年,Hopfield和Tank首次提出了利用能 量函数的概念来研究递归神经网络实时求解线性规划问题并予以电路实现[t”。此后,随着对神经网络研 究的不断深入,大量的求解二次规划问题的神经网络模型被提出[8- 】。Bouzerdoum和PaRison提出了一 种求解带约束二次规划问题的简单网络模型,但该模型只能处理端约束的情况[8]。Zhang和Constantini— des[9]提出了一类拉格朗日神经网络,该网络基于拉格朗日乘子理论,能很好地求解带等式约束的二次 规划问题,但是对于带不等式约束的二次规划问题的求解会出现早熟的现象。为了能总是获取到二次规 划问题的最优解,Tang和Wang[1o-lu结合KKT条件和投影算子,提出了一类传统的原对偶神经网络,但 是传统的原对偶神经网络的神经动力学方程非常复杂,并且可能包含一些高阶的非线性项,这不利于 神经网络的硬件实现。 值得指出的是,以上提出的递归神经网络只能达到渐进收敛,最好的情况也只能达到指数收敛水 平,其收敛特性在实时处理大规模数据应用时,难以令人满意。那么是否可以设计一个更快收敛速度的 递归神经网络来求解二次规划问题?基于对递归神经网络的研究,本文发现激励函数可以有效加速神 经网络的收敛速度,由此设计了一个特别构造的非线性激励函数来加速梯度神经网络的收敛速度,从 而更加有效地求解二次规划问题。 1二次规划问题描述 通常,带等式约束的二次规划问题可以描述为如下的表达式: min 2+口 ,s.t.Ax:6。 (1) 其中,Pc R~为对称Hessian矩阵,向量g∈R ,矩阵A∈R ,向量6∈R ,向量 ∈R”则是二次规 划问题(1)需要求解的未知变量。为了保证有唯一解,假定P为正定矩阵,且A为行满秩。在考虑以上 带等式约束的二次规划问题(1)求解时,通常可以采用Lagrange乘子方法将其等效为求解线性方程组问 题。具体来讲,通过引入Lagrange乘子五∈R ,可以得到如下的Lagrange函数:L(x, )= Px/ 2+2T(Ax一扪。 注意,Lagrange方法是求解二次规划问题(1)可行域的KKT点,即Lagrange函数的稳定点。因此,要 求解二次规划问题(1),可以通过对Lagrange式子分别对 ∈R )和 ∈R )求偏导,并使其为0,从 而得到问题的KKT条件,再由KKT条件把二次规划问题求解转化为线性方程组求解,因此有 {l d :Px+口+A :0‘ , l【 该式可以改写成为如下的线性方程组: wy:“。 (2) :Ax-b:0 其中 =[ £二]∈R )× ), =[ ]∈R , =[ ]∈R m。由于P为正定矩阵,且 为行满秩 的 因此 一定是非奇异的,这将保证了线性方程(2)有唯一的理论解。 2梯度神经网络模型 在这一节中,将根据梯度神经网络设计方法,开发出求解二次规划问题(1)以及式(2)的梯度神经网 络模型。为了加快其收敛速度,通过引入一个特别构造的非线性激励函数,对梯度神经网络模型模型进 行非线性改造,进而提出一个快速收敛的梯度神经网络模型。为了不失一般性,给出梯度神经网络求解 式(2)的设计过程如下。 首先,为了监控式(2)的求解过程,可以定义一个基于平方的标量取值的能量函数: =. 剖 一 (3) 箜 塑 堂 !笠!整 三 塑 塑 : 鎏 鏖 丝旦 型 丛 塞 显然,当该能量函数等于0时,所对应的解Y可以满足式(2)的要求,它的前 个元素组成T--次规 划问题(1)的最优解。 其次,为了使该能量函数(3)能够收敛到0,可以利用负梯度下降方法,使该能量函数沿着它的负梯 度方向下降直至为0。容易求得,能量函数(3)的负梯度为 一一:一一昙三:一 ( I 一lV一Ⅱ-I)。n (I 4), 最后,基于神经网络中一个典型的连续时间自适应法则,可以得到求解式(2)的梯度神经网络模型: j,o):_dy(t):一 三:一 (wy一 ), (5) at oy 其中,神经状态 从随机产生的初始值J,(0)出发,对应于式(2)的解,设计参数 >0用来调节梯度神经 网络模型(5)的收敛速度。 需要指出的是,随着对递归神经网络的深入研究,发现对梯度神经网络模型(5)进行非线性处理可 以加快其收敛速度,为此引入了非线性单调递增的奇激励函数 (·),可以得到改进的快速收敛梯度神 经网络模型: j,(f)=一 o(wy一 )。 (6) 具体来讲,本文将使用如下的幂s型激励函数来加速梯度神经网络模型收敛 ,如果 >1, ( ) l+exp(-  ̄ )T1 -—ex—l【一 1 exp( ·一一 )l+ exp(p (- ̄u)一一 lf) ,其他。。 其中,P>/3, ≥1。 3计算机仿真验证 为了加快收敛速度,对梯度神经网络模型(5)进行了非线性化处理,加入了非线性激励函数,进而 提出了快速收敛的梯度神经网络模型(6)。在这一节当中,将验证以上所提出来的激励函数对梯度神经 网络模型(6)的加速作用。为了不失一般性,令幂S型激励函数中的参数P=3, =1,二次规划问题(1) 的系数为.P_ o_5 +2 l l [sin(4) c0s(4)】, 0s(2)+1 此,式 (2)中的系数则为W=l 【-csin(1)+2 cos(1) sin(4)] 卜sin(4)] sions((41)) o .5csi。ns((14))+2 cos0( J4)l l, =l—c。cs(o2s)(4+1)lJ 。在设置好以上初始条件后, 在MATLAB软件中运行仿真程序,对应的结果如图1~图6所示。 首先,在 =5的条件下,应用梯度神经网络模型(5)去求解二次规划问题(1)及对应的式(2)。图1展 示了梯度神经网络模型(5)求解二次规划问题的状态解,由图1可知,大约在8 S后,状态解达到一个稳 定状态。图2更加直观地展示了梯度神经网络模型(5)的求解误差,清楚地显示误差函数大约在8 S左右 收敛到0。这说明梯度神经网络模型(5)对求解二次规划问题是有效的。 应用快速收敛的梯度神经网络模型(6)在同等条件下去求解二次规划问题(1)及对应的式(2)。图3展 示了快速收敛的梯度神经网络模型(6)求解二次规划问题的状态解,图4则展示了快速收敛的梯度神经 网络模型(6)的求解误差。由图3可知,梯度神经网络模型(6)大约只要4 S就能收敛到理论解。与梯度神 经网络模型(5)相比,快速收敛的梯度神经网络模型(6)几乎快了一倍。这足以说明梯度神经网络模型(6) 在求解二次规划问题(1)的有效性和优越性。 另外,通过调大设计参数 的取值,可以进一步加快梯度神经网络模型(6)的求解收敛速度。如图5 所示,当 =50时,梯度神经网络模型(6)求解的误差函数大约只有0.4 S就能收敛到0。而当 =500时(图 6),梯度神经网络模型(6)求解的误差函数仅仅只要0.04 S就能收敛到0。这再一次说明了本文梯度神经 第1期 参考文献: 吴晓,等:剪切变形对双模量梁弯曲正应力的影响 59 [1】 阿巴尔楚米扬,著.不同模量弹性理论【M】.邬瑞锋,张允真,译.北京:中国铁道出版社,1986:11_22. [2】 吴晓.用Kantorovich及Galerkin联合法研究双模量板的弯曲【J].西安建筑科技大学学报(自然科学版),2012,44(4): 457-461. [33] 蔡来生,俞焕然.拉压模量不同弹性物质的本构[J].西安科技大学学报,2009,29(1):17_21. [4] 吴晓,黄种,孙晋.线性分布载荷作用下双模量简支梁的Kantorovich解[J].中南大学学报(自然科学版),2013,44(5) 2 082-2 087. [5] 吴晓,杨立军,黄种,等.双模量悬臂梁在线性分布荷载作用下的Kantorovich解[J】.中南大学学报(自然科学版), 2014,45(1):306-311. [6] 吴晓,杨立军,黄志刚.利用剪切效应原理计算双模量材料的性能参数解[J].中南大学学报(自然科学版),2014, 45(2):609-614. [7】 吴晓,黄志刚,唐响亮.均布载荷作用下矩形截面梁的弹塑性弯曲[J]_湖南文理学院学报(自然科学版).2013,25(1): 14_17. [8] 吴晓,黄狲,杨立军.侧向均布剪应力作用下双模量悬臂梁的弹性解[J】_湖南文理学院学报(自然科学版),2013, 25(2):48—51. 【9】 吴晓,赵均海,孙晋,等.双模量材料圆轴纯扭转时的应力与应变分析[J].湖南文理学院学报(自然科学版),2014, 26(3):63-66. [10】吴晓,杨立军.拉压弹性模量不同曲梁的弹性理论解[J].工程力学,2013,30(1):76—80. (责任编校:江河) (上接第54页) 参考文献: 【1】 周钦青,陈遵德.视觉传感网中基于二次规划的图像压缩感知[J].计算机工程,2014,40(3):258-261,265. [2] 张爱君,秦新强,龚春琼.求解0~1二次规划问题的迭代禁忌搜索算法[J].计算机工程,2012,38(1):140L-142. [3】Xiao L,Zhang Y.A New Performance Index for Repetitive Motion of Mobile Manipulators[J].IEEE Transactions on Cybemetics,2014,44(2):280-292. [4] 倪勤.最优化方法与程序设计[M】.北京:科学出版社,2009:56_81. 【5】 王尚北,王建东,陈海燕.时空神经网络及其在机场噪声预测中的应用[J】.计算机工程,2014,40(7):133—137. [6】 李守巨,于申,孙振祥,等.基于神经网络的堆石料本构模型参数反演[J].计算机工程,2014,40(6):267-271. [7】Tank D,Hopfield J.Simple‘Neural’Optimization Networks:An A/D Conve ̄eL Signal Decision Circuit.and a Linear Programming Circuit[J].IEEE Trans.Circuits Syst,1986,33(5):533—541. [8】 Bouzerdoum A,Pattison T R.Neural Network for Quadratic Optimization with Bound Constraints[J]_IEEE Transactions on Neural Networks,1 993,4:293—304. [9] Zhang S,Constantinides A G Lagrange Programming Neural Networks[J].IEEE Trnsactaions on Circuits and Systems, 1992,39(7):441—452. [1 0】Tang W S,Wang J A.Recurrent Neural Network for Minimum Infinity-Norm Kinematic Control of Redundant Manipulat. ors wih tall Improved Problem Formul ̄ion and Reduced Architecture Complexity[J】.IEEE Transactions on Systems, Man,and Cybemetics,2001,31(1):98—105. · [1 1]Liu S,Wang J.A Simpliifed Dual Neural Network orf Quadratic Progrmmiang wih tits KWTA Application[J]_IEEE Trans Neural Network,2006,17(6):1 500-1 5l0. (责任编校:毅)