Chapter 3. 다중회귀의 기하학적 의미(with R)

n개의 관측값들로 구성된 다중회귀모형을 다음과 나타낼 수 있다.

 

$$ y_i = \beta_0 + \beta_1 x_{i1}+\beta_2 x_{i2} + ... + \beta_k x_{ik} + \varepsilon_i,\ i=1,2,...,k+1,...,n $$

 

여기서 \(y\)는 종속변수이고, \(x_j=\begin{pmatrix} x_{1j} \\ \vdots \\ x_{nj}\end{pmatrix}\)는 j번째 독립변수 이다.

 

다중회귀모형을 행렬모형으로 나타낼 수 있는데,

$$ y =X\beta + \varepsilon $$

 

$$ y=\begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},X=\begin{pmatrix} 1 & x_{11} & \cdots & x_{1k} \\ 1 & x_{21} & \cdots & x_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & \cdots & x_{nk} y_n\end{pmatrix}, \beta = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix}, \varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix} $$

 

여기서 행렬 \(X\)는 design matrix 이다.

 

3.1 \(\beta\) 와 \(\sigma^2\) 의 추정

\(\beta\)의 최소제곱 추정량 \(\hat{\beta}\)에 대한 최소제곱함수는 다음과 같이 나타낸다.

$$ Q(b) = (y-Xb)^T(y-Xb) = \sum_{i=1}^n(y_i - b_0 -b_1x_{i1}-b_2x_{i2} -...-b_kx_{ik})^2. $$

 

만약 \(X\)가 full rank 이면, 우리는 \(\beta\)를 구할 수 있다.

 

 

$$ \begin{matrix} Q(b)&=& (y-Xb)^T(y-Xb) \\ &=& y^Ty-b^TX^Ty-y^TXb+b^TX^TXb \\ &=& y^Ty-y^TXb-y^TXb+b^TX^TXb\\ &=& y^Ty-2y^TXb+b^TX^TXb \\ \end{matrix} $$

 

여기서 b에 대해 미분을 해주면

 

$$ \begin{matrix} {\partial Q \over \partial b} &=& 0-2(y^TX)^T + 2X^TXb \\ &=& -2X^Ty+2X^TXb. \end{matrix} $$

 

$$ \begin{matrix} -2X^Ty+2X^TX\hat{\beta} &=& 0 \\ 2X^TX\hat{\beta} &=& 2X^Ty \\ X^TX\hat{\beta} &=& X^Ty \\ \hat{\beta} &=& (X^TX)^{-1}X^Ty \end{matrix} $$

 

즉 \(\hat{\beta}= (X^TX)^{-1}X^Ty.\)일 때, 오차제곱합 Q(b)가 최소가 된다.

 

\(\hat{\beta}\)의 평균과 공분산을 구하면

 

 $$ \begin{matrix} E(\hat{\beta})&=& E\left[(X^TX)^{-1}X^Ty\right] \\ &=& (X^TX)^{-1}X^T E(y) \\ &=& (X^TX)^{-1}X^TX\beta=\beta \\ \end{matrix} $$

 

 $$ \begin{matrix} cov(\hat{\beta})&=& cov\left[(X^TX)^{-1}X^Ty\right] \\ &=&(X^TX)^{-1}X^Tcov(y)((X^TX)^{-1}X^T)^T \\ &=&(X^TX)^{-1}X^Tcov(y)X((X^TX)^{-1})^T \\ &=&(X^TX)^{-1}X^Tcov(y)X(X^TX)^{-1} \\ &=&(X^TX)^{-1}X^T(\sigma^2 I)X(X^TX)^{-1} \\ &=&\sigma^2(X^TX)^{-1}X^TX(X^TX)^{-1} \\ &=&\sigma^2(X^TX)^{-1}. \end{matrix} $$

 

 $$ \begin{matrix} Q(\hat{\beta})&=& (y-X\hat{\beta})^T(y-X\hat{\beta}) \\ &=& y^Ty-2\hat{\beta}^TX^Ty+\hat{\beta}^TX^TX\hat{\beta}\\ &=& y^Ty-2\hat{\beta}^TX^Ty+\hat{\beta}^TX^Ty \\ &=& y^Ty-\hat{\beta}^TX^Ty \\ &=& y^Ty-y^TX(X^TX)^{-1}X^Ty \\ &=& y^Ty-y^THy \\ &=& y^T(I-H)y \end{matrix} $$

 

이 증명을 통해 \(E(\hat{\beta}) = \beta\) 와 \(cov(\hat{\beta}) = \sigma^2(X^TX)^{-1} \) 임을 확인할 수 있다.

 

3.2 최소제곱의 기하학적인 의미

최소제곱의 기하학적인 의미를 R을 통하여 알아보도록하자.

 

우선 우리가 관측한 데이터가 (3,4),(-1,2),(1,0) 이라고 해보자.

x=c(3,-1,1)
X=cbind(1,x);X

##         x
## [1,] 1  3
## [2,] 1 -1
## [3,] 1  1

y=c(4,2,0);y

## [1] 4 2 0

\(\hat{\beta}= (X^TX)^{-1}X^Ty.\)의 공식을 이용하여 \(\hat{\beta}\)를 구하면

beta.hat=solve(t(X)%*%X)%*%t(X)%*%y; beta.hat

##   [,1]
##    1.5
## x  0.5

즉, \(\hat{\beta}=\begin{pmatrix} 1.5 \\ 0.5 \end{pmatrix} \)가 된다.

$$ \hat{y}= 1.5+0.5x. $$

 

기하학적인 의미를 확인하기 위해 design matrix를 그래프에 나타내면

library(rgl)

plot3d(c(0,1),c(0,1),c(0,1),type="n",xlab="",ylab="",zlab="",lwd=5,xlim=c(0,3),ylim=c(0,3),zlim=c(0,3),box=FALSE,axes=FALSE)
m=4
for (s in -m:m) for (t in -m:m){
  segments3d(c(3*s-m,3*s+m),c(-s-m,-s+m),c(s-m,s+m),col="#AAAAAA")
  segments3d(c(t-3*m,t+3*m),c(t+m,t-m),c(t-m,t+m),col="#AAAAAA")
}
segments3d(c(0,1),c(0,1),c(0,1),col="#CC0000",lwd=5)
segments3d(c(0,x[1]),c(0,x[2]),c(0,x[3]),col="#FF0000",lwd=5)

design matrix

 

이 위에 y의 관측값 인 \(y= \begin{pmatrix} 4 \\ 2 \\ 0 \end{pmatrix} \)를 그래프로 나타내보자.

segments3d(c(0,y[1]),c(0,y[2]),c(0,y[3]),col="#0000FF",lwd=5)

여기에 \(\hat{y}= X\hat{\beta} = \begin{pmatrix} 3 \\ 1 \\ 2 \end{pmatrix} \)와 \(\varepsilon = y-\hat{y} = \begin{pmatrix} 1 \\ 1 \\ -2 \end{pmatrix} \)을 그래프에 나타내보자.

segments3d(c(0,y.hat[1]),c(0,y.hat[2]),c(0,y.hat[3]),col="#FF00FF",lwd=5)
segments3d(c(y[1],y.hat[1]),c(y[2],y.hat[2]),c(y[3],y.hat[3]),col="#00FF00",lwd=5)

이 그래프를 다시 나타내면 다음과 같다.

 

 

실제 관측된 종속변수 \(y\)와 예측된 \(\hat{y}\)의 차이가 잔차 벡터 \(e\)이고 \(e\)를 가장 작게 만드는 최적의 예측값인 \(\hat{y}\)는 design matrix 공간에 존재하고, \(y\)와 가장 가까운 벡터이다. 이때 벡터 \(e\)는 design matrix에 직교하고, \(\hat{y}\)는 y를 design matrix 벡터 공간에 투영한 벡터이다.