带有最优参数选择的修正DL共轭梯度法

吴双江

(重庆师范大学数学科学学院，重庆401331)

0 引言

考虑无约束优化问题

在文献［1］中，Dai和Liao利用修正共轭条件的方法提出新共轭梯度法，其参数βk的形式:

在文献［2］中，Saman Babaie-Kafaki和Reza Ghanbari利用条件数，求解了DL法中参数t，获得两种新的共轭梯度法M1和M2，其选取的参数t分别为

1 MZ1法与MZ2法的全局收敛性

(2)f在水平集Ω的一个领域N内连续可微，且其梯度g满足Lipschitz连续，即存在常数L＞0，使得g(x)－g(y)≤L x－y ，∀x，y∈N。

由假设1中(2)可知 gk≤γ。

引理1［4］若假设A成立。考虑迭代格式为(2)－(3)的共轭梯度法，其中dk满足下降条件，αk满足强 Wolfe线搜索。如果

定理1 若假设1成立。分别考虑共轭梯度法MZ1法与MZ2法。两种方法中满足下降条件，满足强Wolfe线搜索。则MZ1法与MZ2法均对一般函数有全局收敛性。

证明:根据引理1，只需要证明MZ1法与MZ2法中dk有界，那么则MZ1法与MZ2法均对一般函数有全局收敛性。因为MZ1法和MZ2法中满足下降条件，因此dk≠0。下面运用反正法证明MZ1法与MZ2法中有界。

假设MZ1法与MZ2法均对一般函数不具有全局收敛性，则存在常数ε＞0，使得 gk≥ε对任意k成立。根据式(5)、(7)，有

在 MZ1 法中，根据(2)、(3)、(7)、(12)、(13)和假设1:

因此根据引理1，MZ1法对一般函数有全局收敛性。MZ2法，同理可证得对一般函数的全局收敛性。因此省略对MZ2法的全局收敛性证明过程。定理证明完毕。

2 数值试验

现比较MZ1法，MZ2法，ZZ法与DL法的数值效果，测试问题取自于文献［5］。测试问题的维数为2～5 000维。在所有的共轭梯度法计算中，步长αk通过强Wolfe线搜索获得，其中强Wolfe线搜索的参数δ=0.01，σ =0.1。DL法中参数 t=0.1。MZ1法，MZ2法，和 ZZ法中参数 C=0.001，并且如果 gk≥1时 r=1，否则r=3。这些方法在配置为1.86 GHz CPU，2.5 GB RAM，Windows 7操作系统的联想Z460笔记本电脑上用MATLAB 7.0.1软件测试数值有效性。算法中的终止条件有两个:如果f(xk－1)＞10－6，第一个终止条件为，否则第一个终止条件为≤10－6;如果迭代次数大于1 000次。绘制图1、2、3、4来显示MZ1法、MZ2法、ZZ法、DL法的数值结果。同时绘制表一显示MZ1法、MZ2法、ZZ法、DL法的相对有效性。

通过图1、2、3、4和表1可知，MZ1法在函数计算次数，梯度计算次数，迭代次数，时间上均好于其他几种方法。

表1 MZ1法、MZ2法、ZZ法、DL法的相对有效性

图1 函数计算次数

图2 梯度计算次数

图3 迭代次数

图4 CPU时间

［1］DAI Y H，LIAO L Z.New Conjugacy Conditions and Related Nonlinear Conjugate Gradient Methods［J］.Appl Math Optim，2001，43(1):87-101

［2］SAMAN B K，REZA G.The Dai-Liao Nonlinear Conjugate Gradient Method with Optimal Parameter Choices［J］.European Journal of Operational Research，2014，234(3):625-630

［3］ZHOU W J，ZHANG L.A Nonlinear Conjugate Gradient Method Based on the MBFGSSecant Condition［J］.Optimization Methods and Soft-ware，2006，21(5):707-714

［4］DAI Y H.Convergence Properties of Nonlinear Conjugate Gradient Methods［J］.SIAM JOptim，2000，10(2):345-358

［5］MOREE JJ，GARBOW B S，HILLSTROM K E.Testing Unconstrained Optimization Software ［J］.ACM Trans Math Software，1981，7(1):136-140