修改的DY和HS共轭梯度算法及其全局收敛性

Yuan[15]提出了修改的PRP共轭梯度方法,该方法能保证参数kβ非负且搜索方向在不需要任何线搜索下具有充分下降性。作者也将此技术推广到其它共轭梯度方法中,并给出了修改的公式,但是没有给出具体的收敛性证明。本文的主要工作就是分析修改的DY和HS共轭梯度方法的性质:充分下降性和全局收敛性,同时给出数值检验结果。

2 李向荣等 | 修改的DY和HS共轭梯度算法及其全局收敛性

β

HSk

T

gk+1gk+1gk(g g)DY

,[7], =+1k+1Tk,[6], βk=T

(gk+1 gk)dk(gk+1 gk)dk

T

T

g(xk+αkdk)Tdk≥σgkdk (2.2)

步骤3:令xk+1=xk+αkdk。如果gk+1≤ε,停止。 步骤4:利用下面公式计算搜索方向

dk+1= gk+1+βkMDYdk (2.3)

gk= f(xk)和gk+1= f(xk+1),分别表示函数f(x)在xk和xk+1的梯度值,是欧氏向量范数。在上述方法

LS和HS的数值表现优越但收敛性不理想,中,PRP,或

FR,CD和DY方法的收敛性好但数值表现不优越。其中,PRP方法的数值表现最为理想,常常被人们用于实际的问题求解。许多学者都希望找到数值表现可

与PRP=相媲美同时性质又比其好的方法,已取得许多

成果(见[8-18]等)。在文献[15]中,Yuang给出了下述PRP修改公式:=

2

β

MPRP

PRPµyk k

β

PRPk

min βT

k, g4

gk+1dk , k

其中µ>1

4

是常数,yk=gk+1 gk。该方法拥有充分

下降性和全局收敛性,=

且数值表现优于PRP方法。在此公式的基础上,作者将此思想进行了推广,得到了下面的修改的DY和HS公式:

2

βMDY

DY

min

βDY,

µgk+1kβk2

gT

k

(dTkyk)

k+1dk (1.3)

2

β

MHS

HSHSk

β

k

min

β,

µykT

d

k (1.4)

(dTkyk)

2

g

k+1k

但没给出它们的性质分析,本文就是对上述两种方法进行分析,得到它们的充分下降性和全局收敛性。下一节我们将给出算法步骤,在第三部分分析收敛性,数值检验结果将在最后一节给出。

2. 算法

算法1(修改的DY和HS算法)

步骤0:给定x0∈ n,δ∈(0,2),σ∈(δ,1)和终止参数ε>0,令d0= g0= f(x0),置k:=0。

步骤1:若gk≤ε,停止。

步骤2:利用下面的WWP线搜索技术寻找步长

αk:

f(xT

k+αkdk)≤fk+δαkgkdk (2.1)

Copyright © 2011 Hanspub dMHSk+1= gk+1+βkdk (2.4)

步骤5:置k:=k+1,转步骤2。

3. 充分下降性和全局收敛性分析

下面的引理说明了修改的DY和HS方向具有充分下降性。

引理3.1. 对k≥0,修改的DY和HS搜索方向对下式

dT

2

kgk≤ cgk (3.1)

dTkyk≥c(1 σ)g2

k (3.2)

满足,c>0是常数。

证明:If k=0,则gT

2

0d0= g0

,则(3.1)成立。

假设当k≥1,

(3.1)对修改的DY(2.3)和HS(2.4)均满足,对k+1,利用(2.3)和(2.4),分别得到

gT+1dk+1 g2

T2

kk+1+βMDYkdkgk+1 gk+1 + g2 22 k+1 gkµgk T dT min +1+1TT,2gk+1dk dkgk+1

kyk dkyk(dTky k)

(3.3)

gT

k+1dk+1 g2

k+1+βMHSdT

kkg g2

k+1k+1 + gT T

2

k+1yk gk+1ykµy gT

dTky min k dT,kkyk(dTkyk)

2

k+1dk dT kgk+1

(3.4)

首先分析(3.4),利用yk的定义式(3.1)和(2.2),有下式成立

dTTkyk=dk(g g1 σ)gT

k+1k)≥ (kdk>0 (3.5)

取u=

dT

kyk

1dkµ

gk+1,v=

2µgT

k+dTyk。下面分两种

kyk

PM

修改的DY和HS共轭梯度算法及其全局收敛性相关文档

最新文档

返回顶部