데이터에 라벨(정답)이 없을 때 어떻게 학습할 것인가? 바움-웰치(Forward-Backward) 알고리즘은 ‘현재 아는 만큼 예측하고, 그 예측을 바탕으로 지식을 갱신한다’는 기대를 통한 최대화(EM) 논리로 이 닭과 달걀의 문제를 해결한다. 이는 완전한 무지 상태에서도 관측 데이터 사이의 통계적 균열을 파고들어 시스템의 규칙을 복원해내는 강력한 비지도 학습의 원형을 보여준다.
근거
바움-웰치 알고리즘은 초기화된 파라미터로 관측값의 기대치(E-step)를 계산하고, 이 기대치를 가장 잘 설명하도록 파라미터를 다시 조정(M-step)하는 과정을 반복한다. 이 반복 과정에서 모델은 데이터의 숨겨진 패턴(A, B 행렬)을 점진적으로 구체화하며 수렴해 나간다.
“The Baum-Welch algorithm solves this by iteratively estimating the counts. We will start with an estimate… and then use these estimated probabilities to derive better and better probabilities.”
연결된 생각
- forward-backward-algorithm — 비지도 학습을 구현하는 알고리즘.
- expectation-maximization — 더 넓은 범주의 반복적 최적화 방법론.
- self-supervised-learning — 현대적 자가 지도 학습의 철학적 뿌리와 닿아 있다.
출처
- 📎 클리핑:
20260609-page-0-picture-2jpeg.md
클리핑 · stanford.edu