최대우도추정법 쉽게 이해하기

1. 들어가기 앞서 개념이해

아래의 글은 최대우도추정법 설명 유투브를 가장 이해하기 쉽게 정리한 블로그 글입니다. 블로그 글과 유투브를 함께 보시면 쉽게 이해할 수 있을 것 같네요.

 

https://seungtae-jeff.tistory.com/entry/%ED%86%B5%EA%B3%84%ED%95%99-1-%EC%B5%9C%EB%8C%80%EC%9A%B0%EB%8F%84%EC%B6%94%EC%A0%95%EB%B2%95

[통계학 #1] 최대우도추정법(Maximum Likelihood Estimation)

2. 우도, 최대우도란 ?

ㅇ 우도는, (Likelihood, 가능성/가능도) - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)

ㅇ 최대 우도는, (Maximum Likelihood) - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 말함 . 일어날 가능성(우도)이 가장 큰 것을 나타냄 . 즉, 관측된 랜덤 표본에 해당하는 여러 가설 중 우도함수 값이 최대인 것

3. 최대우도추정치(ML estimator)

ㅇ 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE)

 

- 우도함수 L(θ)를 최대로하는 모수 θ 값에 대한 추정치를  θ ̂이라하면 θ ̂를 최대우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE) 라고 합니다.

 

- 일반적으로 우도함수가 최대가 되는 모수 θ를 추정치로 채택하는 방법으로는 우도함수를 최대화시킬 수 있도록 θ에 대해 미분하는 방법을 사용합니다.

- 즉, 가장 적절한 추정치(Estimate)로 생각되는 어떤 모수를 θ라 할 때, θ의 함수인 우도함수를 최대로 하기 위해 우도함수 L(θ)가 미분가능하면 이를 최대로 하기위한 조건은

∂L(θ)/∂θ = 0

 

가 됩니다.

- 우도함수를 편 미분하여 0 으로 놓고, 미지의 모수인 추정치를 구하게 되는데 여기서 편 미분의 사용 이유는 우도함수가 표본값 xi과 모수 θ 모두에 의존하기 때문입니다.

4. 최대우도추정법(MLE, Method of Maximum Likelihood Estimation)

ㅇ 최대 우도 원리 (Principle of Maximum Likelihood)
     - 나타난 결과는 여러 원인 중 일어날 가능성(조건부확률)이 가장 큰 원인에서 비롯된다는 원리

  ㅇ 최대 우도 추정법
     - 우도함수를 최대화하면서 모수를 추정하는 방법 (전략 또는 접근법 이라는 표현이 더 적절)
        . 관측된 표본에 기초하여 관측 불가능한 파라미터(모수)를 추정하는 방법론 중 하나
        . 표본들로부터 알려지지 않은 모집단 확률분포의 형태를 추정해가는 방법론

  ㅇ 최대 우도 추정법 특징
     - 관심이 있는 확률변수 또는 모수(확률분포 특성치)에 대해  사전 정보를 필요로 하지않는 통계적 추정 과정으로 적당함
        . 모집단이 어떤 종류의 확률분포를 하는지 정도는 알고 있으나 구체적으로 모집단을 나타내는 수치(모수,확률변수)를 모르는 경우에 주로 사용

     - 최대우도추정법은 표본의 수가 충분히 클 때는 바람직한 통계적 속성(일치성,최량 점진적 정규성)을 갖음

     - 점추정치를 구하기위해 가장 많이 사용하는 방법

     - 합리적인 추정량으로 무엇을 삼을지도 불분명한 상황이 있을 때, 최대우도추정법이 적절

 

5. 최대우도추정법 쉽게 이해하기

우도의 개념을 최대한 단순하게 정의하면 확률과 정확하게 대칭되는 것이라 생각하면 맞을 것 같다. 다시 말하면 확률에서는 모비율이 특정되어 있고 불변인데 그 위에서 관찰된 값이 나오는 반면(동전을 던질 때 앞면이 나올 확률은 일반적으로 1/2이며 그것을 바탕으로 특정 관찰이 나올 확률을 계산한다), 우도의 개념에서는 역으로 관찰치는 고정되어 있고, 그것이 가장 잘 그럴 듯하게 나오는 모수값을 찾아나가는 것이다.

 

이를 2차원 그래프로 나타내면 확률분포곡선에서 특정한 포인트를 찍어서 확률을 계산하는 확률과는 정반대로, 우도의 개념에서는 특정한 관찰값이 이미 주어져 있고, 확률분포곡선 자체를 움직이면서 그 관찰값이 가장 잘 나오는 위치를 찾는 것이다. 약간 어거지로 끼워맞추는 구석이 있는 것이 아니냐 할 수 있겠지만, 사실 잘 생각하면 일반적으로 써먹는 회귀분석 역시 자의적인 우격다짐이긴 마찬가지다. OLS(최소자승법) 역시 Sum of Square를 최소화하는 것이 가장 좋은 회귀직선이라 정한 것 뿐이지, 그게 정말 맞다고 누가 장담할 수 있나? 그렇게 하기로 한 것 뿐이지. 아니 - 넓게 말하면 최소자승법 역시 하나의 최대우도추정이라고 할 수도 있는 것이다.

 

그렇다면 왜 이런 개떡같은 방법이 나온 걸까. 당연한 이야기지만 일반적인 회귀분석이 갖고 있는 문제점과 한계에 대응하기 위한 것도 일부 있고, 이것이 갖고 있는 최대의 문제점인 계산 문제가 컴퓨터의 도움으로 해결되었기 때문이기도 하다. 잘 생각해보면 최대우도추정법의 전략은 컴퓨터의 계산방식과 유사하다. 특정한 확률분포를 사용해 계산하여 우도를 구하고, 그 분포를 약간 이동시켜 또 우도를 구하고... 반복하다가 그 우도가 최대로 결정되는 지점에서 멈추는 것이다. 어쩐지 프로그래밍 기초에서 나오는 것과 유사하지 않나?

 

그리고 최대우도 추정의 가장 큰 장점 중 하나는 확률분포의 종류만 정해지면, 계산방식은 모두 동일하다는 것이다. 특히 일반적인 방식에서 각각 모두 다른 표준오차의 추정 역시 (매우 복잡하지만) 같은 방식으로서 계산되며, 표현될 수 있다는 것 - 이는 결국 확률분포만 확보해 표현할 수 있다면 - 일반적인 routine으로 처리할 수 있다는 가능성을 시사한다. 아울러 최대우도추정은 특정한 어떤 분포가 아니라 그런 방식을 사용하는 분석 방법을 통칭하는 일종의 전략(strategy) 같은 것으로 이해하면 되겠다.

 

 

여러가지 글을 읽어봤지만 이 글이 제일 와닿는 글이네요.

 

출처

http://stats4you-textcube.blogspot.com/2009/10/%EC%9A%B0%EB%8F%84%EC%9D%98-%EA%B0%9C%EB%85%90%EA%B3%BC-%EC%B5%9C%EB%8C%80%EC%9A%B0%EB%8F%84%EC%B6%94%EC%A0%95%EB%B2%95maximum-likelihood.html

 

6. 최대우도추정법 예제

최대우도추정법.pdf

0.08MB

 

7. 추가 설명

https://jjangjjong.tistory.com/41

확률(probability)과 가능도(likelihood) 그리고 최대우도추정(likelihood maximazation)

https://actruce.com/obp-prob-likelihood-mle/

출루율로 배우는 확률과 우도, 최대우도추정법 – actruce's Blog

 

---

쉽게 이해하기 어렵네요 ㅠㅠ 여러번 반복해서 읽다보면 1/10 정도는 이해가능 !