HMM의 학습 과정 중 Forward-Backward(Baum-Welch) 알고리즘은 라벨이 없는 데이터에서 어떻게 지식이 탄생하는지를 보여준다. 이 알고리즘의 놀라운 점은 아무것도 모르는 상태에서 시작하더라도, ‘데이터가 이런 구조(마르코프 체인)를 따를 것이다’라는 강력한 구조적 가정이 있다면 스스로 최적의 파라미터를 찾아간다는 것이다. 이는 학습이란 단순히 정답을 외우는 것이 아니라, 가설과 실제 데이터 사이의 괴리를 좁혀가는 반복적 수렴 과정임을 시사한다.
근거
Baum-Welch 알고리즘은 EM(Expectation-Maximization)의 일종으로, 현재의 추측(E-step)을 바탕으로 확률을 재배분하고, 이를 통해 더 나은 모델(M-step)을 구축한다.
“The real problem is even harder: we don’t know the counts of being in any of the hidden states!! The Baum-Welch algorithm solves this by iteratively estimating the counts.”
완벽한 정답지가 없어도 ‘상태 전이’와 ‘관측 확률’이라는 두 축 사이의 정합성을 맞추다 보면, 데이터 내부에 숨겨진 구조적 패턴이 드러나게 된다. 이는 정보가 부족할수록 우리가 가진 ‘틀(Framework)‘이 학습의 성능을 결정한다는 것을 보여준다.
연결된 생각
- 20260605-hidden-markov-models-concept — 모델의 학습 대상인 A, B 행렬에 대한 정의
- 20260605-human-perception-as-hmm-decoding — 인간이 편향(Bias)을 통해 세상을 배우는 과정과의 유사성