HMM 학습은 레이블이 없는 데이터에서 모델 파라미터를 추정해야 한다는 근본적인 도전에 직면한다. Baum-Welch(전방-후방) 알고리즘은 이 문제를 해결하기 위해 기대-최대화(EM) 프레임워크를 사용한다. E-step에서 전방/후방 확률로 숨겨진 상태를 예상하고, M-step에서 이 예상을 바탕으로 전이/방출 확률을 갱신한다. 이 반복 과정은 관측 불가능한 상태의 부재를 스스로 극복하는 아름다운 전략이다.
근거
원문에서는 EM의 핵심 아이디어를 다음과 같이 설명한다: “We will start with an estimate for the transition and observation probabilities and then use these estimated probabilities to derive better and better probabilities.” 그리고 전방 확률과 후방 확률을 결합하여 ξ와 γ 같은 기대 통계량을 계산한다.
“The Baum-Welch algorithm solves this by iteratively estimating the counts.”
이 접근법은 현대 딥러닝의 준지도학습(Semi-supervised Learning)이나 자기 지도 학습(self-supervised learning)의 원형으로 볼 수 있다. 레이블이 없을 때도 충분히 풍부한 관측치가 있다면 숨겨진 구조를 복원할 수 있다는 낙관적인 메시지를 담고 있다.
연결된 생각
- 20260605-hidden-markov-model — HMM 개념 노트에서 학습 문제(Problem 3)를 정의
- unupervised-learning-is-em-theorem — EM 알고리즘은 잠재변수 모델의 일반적인 학습 원리