[회귀분석] Simple linear regression LSE·MLE

안녕하세요.

 

오늘은 단순 선형 회귀모형에서

 

모수인 β_0, β_1을 추정하기 위한 방법으로

 

LSE(least Square Estimation)과 MLE(Maximum Likelihood Estimation)을 알아보겠습니다.

 

단순 선형회귀식

이때 입실론을 남기고 좌변으로 넘기면 아래의 식이 완성됩니다.

 

입실론

입실론은 그래프 상으로 위와 같은 파란색 선분의 길이입니다.

 

이때 LSE(Least Square Estimation)는 즉, 길이의 제곱의 합이 최소가 되는

 

최소제곱법을 나타냅니다.

 

Fitting Model

SSE(Sum of Square Estimation)

우리가 가장 많이 쓰는 방법입니다.

 

우리의 목표는 입실론의 제곱의 합이 최소가 되게 하는 것이죠.

 

SAD(Sum of Absolute Difference)

이 모형은 입실론의 절댓값의 합이 최소가 되게 하는 것입니다.

 

이 모형이 덜 쓰이는 이유는 모수 추정을 할 때 미분을 사용해야 하는데

 

절댓값은 미분을 하기에 불편함이 많아서 잘 쓰이지 않습니다.

 

하지만 장점은 존재하죠.

이렇게 경향에 크게 벗어나는 점이 존재할 때 SSE는 제곱의 합이므로 회귀선이 영향을 받기 쉽습니다.

 

하지만 SAD는 절댓값의 합이므로 회귀선이 영향을 덜 받는다는 장점이 있습니다.

 

그럼에도 우리는 손 계산을 자주 해야 하므로 앞으로는 SSE로 진행하겠습니다.

 

LSE 모수 추정

2개의 모수에 대해 각각 편미분 하고 0과 같다는 식을 놓은 다음

 

연립을 한 결과입니다. 최소가 되어야 하므로 이계도함수를 구하고 값이 0보다 크다는 조건까지 사용하면

 

β_0, β_1의 추정값이 위와 같이 나옵니다.

 

MLE 모수 추정

loglikelihood function을 만들면 위와 같은 식이 나옵니다.

 

이때 SSE가 있는 것을 볼 수 있죠.

 

MLE의 목적은 최대가 되게 할 때 모수값을 추정하는 것이므로

 

SSE앞에 -가 있으므로 SSE가 작아지면 loglikelihood가 커지게 됩니다.

 

따라서 일반적으로는 MLE와 LSE는 같지 않지만 회귀분석에서는 같게 해석되므로

 

앞으로 저는 MLE를 사용하도록 하겠습니다.

 

감사합니다!