베이지안(Bayesian Inference) 쉽게 이해하기

확률의 정의

베이지안 정리가 무엇인지 알아보기 전에 '확률'에 대한 두가지 관점을 먼저 이해해야 한다.

 

통계학은 크게 빈도주의자(frequentist)와 베이즈주의자(Bayesian)로 나뉜다.

 

어느 쪽이든 확률을 계산하는 방법은 똑같지만 확률을 해석하는 방법이 다르다. 예를 들어, "동전을 던졌을 때 앞면이 나올 확률이 50%다" 라는 진술은 빈도주의자는 "동전 하나 던지기를 수 천, 수 만 번 하면 그중에 50%는 앞면이 나오고, 50%는 뒷면이 나온다"라고 해석한다. 반면 베이즈주의자는 "동전 하나 던지기의 결과가 앞면이 나올 것이라는 확신은 50%이다"라고 해석한다.

 

다시말하면, 빈도주의자는 확률을 객관적 확률로 해석하고, 베이즈주의자는 주관적 확률로 해석한다는 것이다.

 

빈도주의의 관점에서 분명한 한계는 있다.

 

예를 들어 다음 대선에 ○○○가 당선될 확률은 어떻게 구할 것인가. '다음 대선'이라는 것은 역사상 딱 한번만 일어나는 일이므로 빈도주의 관점으로 확률을 구할 수 없다.

그리고 내일 비 올 확률을 어떠한가. 이것 또한 빈도주의 관점으로는 구할 수 없다. 이러한 것처럼 랜덤 사건이 아닌 우리의 지식이 부족해서 일어나는 인식론적 불확실성(epistemic uncertainty) 설명하기 위해 새로운 확률정의가 필요하고 이것이 바로 베이지안 관점인 것이다.

 

 

● 빈도주의 : 한 사건(event)의 확률(probability)은 그것이 일어나는 '빈도 수(frequency)'

● 베이즈주의 : 한 사건의 확률은 믿음(belief), 혹은 의지(willingness)에 기반하는 것

- 주관주의(subjectivism, subjective probability), 개인적확률(personal probability), 인식론적확률(epistemic probability), 논리적 확률(logical probability)

 

 

 

 

▼빈도주의와 베이즈주의 관점의 더 재밌는 얘기는 아래에서 확인하세요

토론실 - 빈도주의 vs 베이즈주의

 

[Statistics] 빈도주의 학파 vs 베이지안 학파

베이즈 정리

사전확률(Class Prior Probability) : 사전지식

가능도(Likelihood) : 가설(A)가 데이터(B)를 지지할 가능성

사후확률(Posterior Probability) : 데이터로 업데이트된 확률

증거(Predictor Prior Probability) : 데이터의 확률(상수)

 

 

• 데이터의 획득으로 사전 확률이 어떻게 사후 확률로 업데이트 되는지에 대한 정리
• 데이터는 가능도를 통해 사후 확률에 영향을 준다
• 확률을 업데이트해 나가며 실제 현상에 대한 추론 가능

>>>  어떤 불확실한 상황도 확률로 수량화 가능 !!

 

베이즈 추론 예시

질병 검사의 양성 적중률

발병률이 0.01인 어떤 질병이 있습니다. 우리가 이 질병의 발병여부를 판별할 때, 질병 검사라는 것을 하게됩니다. 실제로 병에 걸린 사람이 검사를 하면 0.99의 비율로 양성이 나오고, 병에 걸리지 않은 사람이 검사를 하면 0.10의 비율로 양성이 나온다고합니다. 그렇다면, 이 질병 검사에서 양성 반응이 나왔을 때, 검사 대상자가 진짜 질병에 걸렸을 확률은 어떻게 구할까요?

 

하나씩 정리를 해보겠습니다. 질병 검사에서 양성 반응이 나온 사건을 +, 실제 질병에 걸린 사건을 D로 정의하면,

• 관심 있는 사건 : 질병 검사의 양성 적중률 = P(D|+)
• 발병률 : P(D) = 0.01
• 병에 걸린 사람이 양성 : P(+|D) = 0.99
• 병에 걸리지 않은 사람이 양성 : P(+|Dc) = 0.10

이제 베이즈 정리에 따라 우리는 알고 있는 값만 넣으면 됩니다.

 

따라서, 질병 검사의 양성 적중률은 9.1%정도 되겠네요. 병에 걸린 사람을 실제로 양성 반응이 나오는 비율이 높지만, 그렇지 않은 사람들 또한 10%의 확률로 양성으로 나오기때문에, 생각보다 좋은 적중률을 나타내고 있지 않습니다.

 

 

예제 출처 sumniya.tistory.com/29

 

베이즈 추론 특징

 

- 데이터가 사전 확률을 사후 확률로 업데이트 

- 새로운 데이터 반영의 용이함, 여러 출처의 정보를 결합하는 능력

- 사전 분포 적용을 통해 기존 지식의 통합 가능 → 모수 공간을 줄이는 효과

- 데이터를 직접 반영하여 사후 분포를 구성

- 모수가 많고 복잡한 모델까지 추론 가능

 

 

>> 머신러닝 연구에 중요한 이론

베이즈 추론 적용 : 칼만 필터(Kalman Filter)

 

측정값이 오차항을 포함하는 경우, 실제 상태를 추정하는 알고리즘

ex ) 비행기와 같은 운송 수단의 위치와 속도를 측정을 할 때, 오차항을 포함하는 경우 어떻게 추정할 수 있을까 ?

 

 

 

▼ 칼만 필터의 예제 이외에 전반적인 베이지안 정리를 쉽게 알고 싶으면 아래 영상 참고 !! 완전 잘 설명해주시네요