확률이론(1)

1. Trial : 두 개의 동전을 순차적으로 던지는 실험을 생각하자.

- 가능한 결과는 {HH, HT, TH, TT}

- 문제: 두 동전이 같은 면이 나올 확률은? -> 0.5

- discrete한 결과(값이 셀 수 있을 만큼 한정되어 있는 경우)가 나옴

- 하지만 결과의 집합이 continuous 하다면?

 

 

2. Probability Space(확률 공간)

- 확률 공간은 세 요소로 구성됨 (Ω, F, P)

- Ω(오메가): 결과들의 전체 집합 (발생할 수 있는 모든 이벤트)

- ℱ (파이): 사건의 집합(실제 발생하는 이벤트)

- P: 확률 함수로 ℱ의 각 사건에 대해 확률(0~1 사이 실수)을 할당하는 함수

- ℱ가 σ(시그마)-필드가 되기 위한 조건:

   - 어떤 사건 A가 ℱ에 속하면, 그 여집합 Aᶜ도 ℱ에 속해야 함

   - ℱ에 속하는 사건들의 가산(무한히 셀 수 있는) 합집합도 ℱ에 속해야 함

 

 

3. Random Variable (확률 변수)

- 확률 변수는 결과( ℱ )를 숫자(ℝ)로 바꾸는 함수 

- X: ℱ →R

- X^{−1}(A)는 A라는 숫자 구간에 대응되는 원래 결과(도형)들의 집합

 

 

4. Axioms of Probability(확률의 공리)

- 확률의 3가지 기본 원칙으로 어떤 확률 함수 P도 이 세 가지 조건을 항상 만족해야 함

 

 1) Nonnegativity : P(A) ≥ 0, ∀A∈F

     확률은 0 이상이어야 함

  2) Normalization : P(Ω) = 1 

      모든 가능한 결과의 집합 Ω의 확률은 항상 1

  3) Additivity : P(⋃​iAi​) = ∑i​ P(Ai​)

      A1​,A2​,...가 disjoint한 사건일 때, 그 사건들 중 하나라도 일어날 확률은 각 사건들의 확률을 더한 값과 같음

 

 

5. Priors

- 어떤 사건에 대해 다른 정보가 없을 때 갖는 믿음의 정도

 

 

6. Conditional Probability (조건부 확률)

- 사건 A가 일어난 조건하에, 사건 B가 일어날 확률

- Bayes rule : 결과 A가 관측되었을 때, B일 확률을 계산하는 공식으로, 결과를 바탕으로 원인에 대한 확률을 업데이트하는 방법

 

 

7. Independence (독립)

- 두 사건 A와 B가 독립: P(B|A) = P(B) 

- 즉, A가 일어났는지 여부가 B의 확률에 아무 영향도 주지 않을 때, A와 B는 독립

- P(A∩B) = P(A)⋅P(B)