확률과 가능도

특정 사건이 일어날 가능성을 비교할 수는 없을까?: 가능도(Likelihood)

방금 설명한 대로 연속사건에서는 특정 사건이 일어날 확률이 전부 0으로 계산되기 때문에 사건들이 일어날 가능성을 비교하는 것이 불가능하며, 가능도라는 개념을 적용해야 이를 비교할 수 있다. 그러나 지금 가능도의 엄밀한 정의를 설명하는 것은 이해를 돕는데 도움이 안될 것이며, 직관적인 설명을 이용할 것인데, 쉽게 말하자면 위에 있는 그래프들에서 $y$

값을 가능도로 생각하면 된다. 즉, $y$ 값이 높을수록 일어날 가능성이 높은 사건이라는 것이다. 주사위나 동전을 던지는 경우는

y

값이 각 사건이 일어날 확률을 나타내었으므로 가능도=확률이 되어, 확률이 높을수록 일어날 가능성이 높은 사건이 된다. 한편 정규분포같이 연속사건인 경우는 PDF의 값이 바로

y

가 되며 0에 해당하는 PDF값이 0.4로 1 에 해당하는 PDF값인 0.24보다 높아 0 근처의 숫자가 나올 가능성이 1 근처의 숫자가 나올 가능성보다 높다고 할 수 있으며, 0이 나올 확률과 1이 나올 확률이 모두 0인 것과는 대조적이다. 이를 정리하면 가능도의 직관적인 정의는 다음과 같다.

가능도의 직관적인 정의 : 확률분포함수의 $y$

값

셀 수 있는 사건: 가능도 = 확률
연속 사건: 가능도 $\neq$

- 확률, 가능도 = PDF값

사건이 여러 번 일어날 경우에서의 가능도

이번에는 사건이 여러 번 일어날 경우를 생각해 보자. 먼저 아래의 두 문제를 풀어보자.

주사위를 3번 던져 각각 1,3,6이 나올 확률은 얼마일까?
동전을 10번 던지는 일을 3회 시행하여 앞면이 각각 2,5,7번 나올 확률은 얼마일까?

1번의 경우 주사위를 던져 1,3,6이 나올 확률은 전부

\frac{1}{6}

이므로 정답은

\frac{1}{6} \times \frac{1}{6} \times \frac{1}{6} = \frac{1}{216}

이고, 2번의 경우 동전을 10번 던져 앞면이 2,5,7번 나올 확률은 앞에서와 같이 각각 0.044, 0.246, 0.117이므로 정답은 0.044

\times

0.246

\times

0.117

=

0.001이다. 가능도도 마찬가지이다. 앞서 셀 수 있는 사건에서는 확률과 가능도가 같다고 했으므로 주사위를 3번 던져 각각 1,3,6 이 나올 가능성을 나타내는 가능도는

\frac{1}{216}

이 되고, 동전을 던지는 경우의 가능도도 마찬가지로 확률과 같은 0.001이 된다. 이제 연속사건이 여러 번 일어날 경우를 살펴보자. 앞서 언급한 평균 0, 분산 1인 정규분포에서 숫자를 3번 뽑았을 때 차례대로 -1,0,1이 나올 확률은 각각의 사건이 일어날 확률이 모두 0이므로 결국 0이 된다. 그러나 가능도의 경우 -1,1이 나올 가능도는 0.24, 0이 나올 가능도는 0.4이므로 -1,0,1이 나올 가능도는 0.24

\times

0.4

\times

0.24

=

0.02가 되어 확률과는 다른 값으로 나타나게 된다.

진실을 찾는 방법: 최대가능도 추정량(Maximum Likelihood Estimator, MLE)

가능도 관련 마지막 주제로 최대 가능도 추정량(이하 MLE)에 대해 알아보겠다. MLE는 기초적인 통계분석에서 회귀분석에 이르기까지 거의 모든 통계분석에서 참값을 추정하는 원리이지만, 설명의 어려움 때문인지 거의 모든 기초통계 교과서에서 설명이 빠져 있다. 여기서는 두 가지 예를 가지고 MLE의 개념에 대해 설명할 것인데 먼저 모양이 변형된 동전을 생각해 보자.

예1: 모양이 일그러진 동전

지금까지와는 다르게 이 동전은 모양이 많이 일그러져서 앞이 나올 확률이 0.5라고 말할 수가 없고, 실제로 던져봐야 그 확률을 알 수 있을 것 같다. 실제로 1000번을 던져봤더니 앞이 400번, 뒤가 600번 나왔다면 우리는 동전을 던져 앞이 나올 확률

p

가 대략 얼마 정도라고 생각할까? 아마 대부분은 0.4정도라고 생각할 것이며 이것은

p

의 MLE값과 일치한다. 풀어서 설명하면 동전을 1000번 던져서 앞이 400번 나올 가능성을 최대로 하는 $p$ 는 0.4라는 뜻이며 수식을 이용한 엄밀한 증명은 다음과 같다.

앞면이 나올 확률이 $p$

라면 1000번을 던져 앞이 400번, 뒤가 600번 나올 가능도(=확률)

L =_{1000} C_{400} p^{400} (1 - p)^{600}

이다. 수식이 싫으면 이

L

이 최대값을 가지는

p

를 계산해보면 0.4가 나온다는 것을 인정하고 그냥 넘어가자.

L

이 언제 최대가 되는지 살펴보자.

L

이 최대가 되는 것은

p^{400} (1 - p)^{600}

가 최대가 될 때인데 산술-기하 평균 부등식에 의하여

600 = \frac{3}{2} p \times 400 + (1 - p) \times 600 \geq 1000 \times {(\frac{3}{2} p)^{400} (1 - p)^{600}}^{\frac{1}{1000}}

이 된다.

따라서

p^{400} (1 - p)^{600}

의 최대값은

(\frac{600}{1000})^{1000} \times (\frac{2}{3})^{400}

이 되며,

L

이 최대값이 될 때는 앞의 산술-기하평균 부등식의 등호조건이 성립할 때이므로

\frac{3}{2} p = 1 - p

즉,

p = 0.4

가 된다.

더 직관적으로 이해해보기 위해 앞면이 나올 확률

p

에 따른 가능도

L

의 값을 그래프로 그려보면 아래와 같다.

앞면이 나올 확률

p

에 따른 가능도

L

의 값

그림으로 살펴봐도

p

가 0.4일 때

L

의 값이 최대임을 알 수 있다. 지금까지 이야기를 다시 한 번 정리 해 보자. 동전을 1000번 던져 앞이 400번, 뒤가 600번 나왔다면 우리는 직관적으로 앞이 나올 확률

p

는 0.4 정도라고 생각할 것이며, 실제 이런 일이 발생할 가능성을 최대로 하는

p

를 계산하면 0.4가 된다. 이를 간략히 $p$ 의 MLE는 0.4라고 표현한다. 즉, MLE는 우리의 가능성과 확률에 대한 직관을 수리적으로 표현한 것에 불과하며 어렵게 생각할 필요가 없다고 말하고 싶다.

이 블로그 검색

Gromit's Cabin