多重线性回归的最小二乘估计的递推算法

第27卷第2期2005年3月

南　京　工　业　大　学　学　报

JOURNALOFNANJINGUNIVERSITYOF

TECHNOLOGY

Vol.27No.2

Mar.2005

多重线性回归的最小二乘估计的递推算法

郭金吉,甘　泉,陈务深

(南京工业大学理学院,江苏南京210009)

摘　要:给出多重线性回归:yi=β0+β1xi1+…+βpxip+εi(i=1,2,…,n)的最小二乘估计的递推算法:

T

β^(n)=β^(n-1)+Pnxn(yn-xnβ^(n-1))

Pn=Pn-1-

PxxPT

1+xnPn-1xn

T

。这种算法是自适应的,也是均方收敛的。

关键词:多重线性回归;最小二乘估计;递推算法;均方收敛3

中图分类号:O24115　　　文献标识码:A　　　文章编号:1671-7643(2005)02-0043-04

T

β^=(XX)

-1

β^(0)=0,P0=αI(α>>1)

XT

(4)

1　问题的提出

假设有p个自变量x1,x2,…,xp,y的因变量(yi,xi1,xi2,…,)1,,:

ββεy1=β0+1x11+…+px1p+1

ββεy2=β0+1x21+…+px2p+2

…　　　　…　　　　…ββεyn=β0+1xn1+…+pxnp+n

其中β0,β1,…,βp是待估计参数,称为回归系数,ε1,ε2,…,εn是n个相互独立且服从同一正态分布

N(0,σ)的随机变量。

T

令y=(y1,y2,…,yn),

1x11x12…2

T

=(0,β^1,p是β的方差最

2

进一步地,在ε～N(0,σI)(I为单位阵)下β^是方差最小无偏估计,因此有广泛的应用

[1]

。

T

T

但在实际应用中存在两个问题:一是当正规方程的系数矩阵XX呈“病态”即行列式|XX|很小(接近于零)时,最小二乘估计的性质变得很坏,为

(1)

此人们相继提出了一些新的估计方法;二是在一些控制问题中,当用根据采集的数据建立回归方程后,还会产生新的数据,这时如果还要建立新的回归方程,就必须从头重来。如何应用旧的方程建立新的方程呢?

T

本文给出不需求XX的逆而解正规方程(3)求

x1px2p

X1x21x22

………

β^的递推方法。

,

……

1xn1

…

xn2

x2　线性回归最小二乘估计的递推算法

T

令xi=(1,xi1,xi2,…,xip),i=1,2,…,n,则

T

βT=(βε0,β1,…,βp),ε=(1,ε2,…,εn)则(1)可写为矩阵形式

β+ε(2)Y=X

为了估计参数β,用最小二乘法得正规方程:

TT(XX)β(3)^=XY

T

若XX可逆,则β的最小二乘估计为

x1

XX=(x1,x2,…,xn)

T

T

n

x2

xT

=ρxixi

i=1

T

3收稿日期:2004-09-06

作者简介:郭金吉(1949-),男,江苏连云港人,副教授,主要研究方向为应用数学。Email:grnaeg@1631com