33. 조건부 확률 - 베이즈 정리(Bayes' theorem)

Chapter 33. 조건부 확률 - 베이즈 정리(Bayes' theorem)

 

1. 베이즈 정리 (Bayes's theorem)

 

베이즈 정리는 확률 이론에서 조건부 확률을 계산하는 데 사용되는 중요한 정리입니다.

베이즈 정리는 두 확률 변수의 사전확률과 사후 확률 사이의 관계를 나타내며, 원인과 결과 형태의 문제를 결과에 대한 원인 분석이 가능하게 하는 이론입니다.

 

베이즈 정리를 처음으로 제시한 사람은 영국의 수학자, 신학자인 토마스 베이즈(Thomas Bayes, 1701 ~ 1773)입니다. 그는 다양한 분야의 연구를 수행하였으며, 그의 이름이 붙은 '베이즈 정리'는 그의 사후에 연구자료를 정리하면서 발견되었다고 합니다. 다만, 초기에는 큰 주목을 받지 못하였지만 이 이론은 현대 통계학과 머신러닝에서 중요한 개념으로 사용되며, 예측 및 의사 결정에 확률적인 추론을 적용하는 데 광범위하게 사용되고 있습니다.

 

베이즈의 정리는 다음과 같이 표현됩니다.

 

 

이 베이즈 정리를 이해하기 위해서는 필요한 몇가지 기본 이론이 있습니다.

 

2. 확률의 기본정리

앞서 확률의 공리와 기본정리에서 살펴봤습니다. 

2023.09.27 - [통계학 이야기] - 29. 확률의 공리와 기본 정리

29. 확률의 공리와 기본 정리

간단히 정리하면,

 

(1) 확률의 공리

    ▶ 음의 확률은 없다.

    ▶ 전체 표본 공간의 확률은 1이다.

     ▶ 상호 배반적 사건들의 합의 확률은 각 사건의 확률의 합과 같다.

 

   (2) 확률의 기본정리

      ▶ 사건 A는 0부터 1 사이의 값을 가진다.

      ▶ 여사건의 법칙

      ▶ 덧셈법칙

      ▶ 배반사건

      ▶ A가 B의 부분집합일 때

 

3. 분할 (Partition)

확률에서 분할이란 합쳐서 전체를 포괄하되(collectively exhaustive) 겹쳐서 전혀 중복이 안되는 (mutually exclusive) 사건들의 집합이라고 정의할 수 있습니다.

 

(1) 전체의 분할과 B의 분할

 

    ▶  전체의 분할

 

▶  B의 분할

 

(2) 표본공간의 분할(partition)을 식으로 표현하면,

 

 사건 A1, ..., An 가

 

      서로 배반사건이며,

      전체를 이루는 사건, 즉 A1, ..., An의 합집합이 표본공간을 나타냅니다.

 

▶ 사건 B 가 발생할 확률을 분할로 표현하면,

 

 위 식에서 표본공간은 A1, ..., An의 합집합임을 대입하면,

여기에 덧셈법칙과 배반사건을 고려하면, 위 식은 아래와 같이 표현할 수 있습니다.

아래의 조건부 확률 산식에서 교집합을 구하면

이것을 P(B) 구하는 산식에 반영하면,

 

4. 독립 (Independent)

 

확률에서 독립(independent)이란 하나의 사건이 일어나는 여부와 상관없이 다른 사건이 일어날 확률이 변하지 않는 것을 말합니다. 그렇지 않은 경우 두 사건의 관계는 종속(dependent)이라고 합니다.

 

복원추출일 경우에는 매번 추출이 독립이고, 비복원추출일 경우에는 종속이 됩니다.

 

두 사건 A와 B가 서로 독립일 때, 두 사건이 모두 일어날 확률은 각각의 비조건부 확률을 곱하여 얻게 됩니다. 이를 좀은 의미의 곱셈법칙이라고 부릅니다.

 앞서 두집합의 교집합은 아래와 같이 표현할 수 있다는 것을 알았습니다.

두 사건 A와 B가 서로 독립이라면, A가 B에 영향을 주지 않고, B도 A에 영향을 주지 않는다면, 

5. 베이즈 정리의 본질

 

베이즈 정리의 본질은 "입장을 바꿔 생각하기" 라고 할 수 있습니다. 

 

 

좌변의 조건부 확률 P(A | B)의 의미는 B 조건하에서의 A에 대한 확률을 구하는 것입니다.

하지만, 우변에 표시된 P(B | A) 는 A 조건하에서의 B에 대한 확률을 구하는 것이라 볼 수 있습니다. 즉 "입장이 바뀐" 조건부 확률을 사용하고 있습니다. 이는 원인과 결과 형태의 문제를 결과를 보고서 원인 분석을 가능토록 만들고 있습니다.