EM(Expectation Maximization Algorithm)

EM(Expectation Maximization Algorithm)

• 정의
• EM 알고리즘의 단계
• EM 알고리즘의 활용
• 예시

정의

• 기댓값 최대화 알고리즘(expectation-maximization algorithm, 약자 EM 알고리즘)
• 관측되지 않는 잠재변수에 의존하는 확률 모델에서 최대가능도(maximum likelihood)나 최대사후확률(maximum a posteriori, 약자 MAP)을 갖는 모수의 추정값을 찾는 반복적 알고리즘

EM 알고리즘의 단계

1. 기댓값(E) 단계:

   • 모수 추정값으로 로그가능도(log likelihood)의 기댓값 계산
   • 현재 모수 추정값을 사용하여 잠재변수의 분포 추정

2. 최대화(M) 단계:

   • 기댓값을 최대화하는 모수 추정값 계산
   • E 단계에서 계산된 기댓값을 사용하여 모수 업데이트

3. 반복:

   • 최대화 단계에서 계산한 변수값은 다음 기댓값 단계의 추정값 입력으로 사용
   • E 단계와 M 단계를 반복하여 모수 추정값이 수렴할 때까지 계속

EM 알고리즘의 활용

• 데이터가 불완전하거나 관측되지 않은 잠재변수가 있는 경우에 유용
• 혼합 가우시안 모델, 히든 마르코프 모델(HMM), 클러스터링 등 다양한 확률 모델에서 사용

예시

• 혼합 가우시안 모델:

  • 여러 개의 가우시안 분포가 섞여 있는 데이터를 모델링
  • EM 알고리즘을 사용하여 각 가우시안 분포의 모수(평균, 분산, 혼합 계수) 추정

• 히든 마르코프 모델(HMM):

  • 관측된 데이터 시퀀스에서 숨겨진 상태 시퀀스를 추정
  • 상태 전이 확률과 관측 확률을 추정하는 데 사용

EM 알고리즘은 복잡한 확률 모델에서 모수를 추정하는 데 강력한 도구로, 데이터 분석과 머신러닝 분야에서 널리 사용됨.