修改的DY和HS共轭梯度算法及其全局收敛性
Yuan[15]提出了修改的PRP共轭梯度方法,该方法能保证参数kβ非负且搜索方向在不需要任何线搜索下具有充分下降性。作者也将此技术推广到其它共轭梯度方法中,并给出了修改的公式,但是没有给出具体的收敛性证明。本文的主要工作就是分析修改的DY和HS共轭梯度方法的性质:充分下降性和全局收敛性,同时给出数值检验结果。
2 李向荣等 | 修改的DY和HS共轭梯度算法及其全局收敛性
β
HSk
T
gk+1gk+1gk(g g)DY
,[7], =+1k+1Tk,[6], βk=T
(gk+1 gk)dk(gk+1 gk)dk
T
T
g(xk+αkdk)Tdk≥σgkdk (2.2)
步骤3:令xk+1=xk+αkdk。如果gk+1≤ε,停止。 步骤4:利用下面公式计算搜索方向
dk+1= gk+1+βkMDYdk (2.3)
gk= f(xk)和gk+1= f(xk+1),分别表示函数f(x)在xk和xk+1的梯度值,是欧氏向量范数。在上述方法
LS和HS的数值表现优越但收敛性不理想,中,PRP,或
FR,CD和DY方法的收敛性好但数值表现不优越。其中,PRP方法的数值表现最为理想,常常被人们用于实际的问题求解。许多学者都希望找到数值表现可
与PRP=相媲美同时性质又比其好的方法,已取得许多
成果(见[8-18]等)。在文献[15]中,Yuang给出了下述PRP修改公式:=
2
β
MPRP
PRPµyk k
β
PRPk
min βT
k, g4
gk+1dk , k
其中µ>1
4
是常数,yk=gk+1 gk。该方法拥有充分
下降性和全局收敛性,=
且数值表现优于PRP方法。在此公式的基础上,作者将此思想进行了推广,得到了下面的修改的DY和HS公式:
2
βMDY
DY
min
βDY,
µgk+1kβk2
gT
k
(dTkyk)
k+1dk (1.3)
和
2
β
MHS
HSHSk
β
k
min
β,
µykT
d
k (1.4)
(dTkyk)
2
g
k+1k
但没给出它们的性质分析,本文就是对上述两种方法进行分析,得到它们的充分下降性和全局收敛性。下一节我们将给出算法步骤,在第三部分分析收敛性,数值检验结果将在最后一节给出。
2. 算法
算法1(修改的DY和HS算法)
步骤0:给定x0∈ n,δ∈(0,2),σ∈(δ,1)和终止参数ε>0,令d0= g0= f(x0),置k:=0。
步骤1:若gk≤ε,停止。
步骤2:利用下面的WWP线搜索技术寻找步长
αk:
f(xT
k+αkdk)≤fk+δαkgkdk (2.1)
和
Copyright © 2011 Hanspub dMHSk+1= gk+1+βkdk (2.4)
步骤5:置k:=k+1,转步骤2。
3. 充分下降性和全局收敛性分析
下面的引理说明了修改的DY和HS方向具有充分下降性。
引理3.1. 对k≥0,修改的DY和HS搜索方向对下式
dT
2
kgk≤ cgk (3.1)
和
dTkyk≥c(1 σ)g2
k (3.2)
满足,c>0是常数。
证明:If k=0,则gT
2
0d0= g0
,则(3.1)成立。
假设当k≥1,
(3.1)对修改的DY(2.3)和HS(2.4)均满足,对k+1,利用(2.3)和(2.4),分别得到
gT+1dk+1 g2
T2
kk+1+βMDYkdkgk+1 gk+1 + g2 22 k+1 gkµgk T dT min +1+1TT,2gk+1dk dkgk+1
kyk dkyk(dTky k)
(3.3)
和
gT
k+1dk+1 g2
k+1+βMHSdT
kkg g2
k+1k+1 + gT T
2
k+1yk gk+1ykµy gT
dTky min k dT,kkyk(dTkyk)
2
k+1dk dT kgk+1
(3.4)
首先分析(3.4),利用yk的定义式(3.1)和(2.2),有下式成立
dTTkyk=dk(g g1 σ)gT
k+1k)≥ (kdk>0 (3.5)
取u=
dT
kyk
1dkµ
gk+1,v=
2µgT
k+dTyk。下面分两种
kyk
PM


