은닉 마르코프 모델 (Hidden Markov Models)

정의

은닉 마르코프 모델(HMM)은 관측 가능한 이벤트 시퀀스를 통해 직접 관찰할 수 없는 ‘은닉 상태(Hidden State)‘의 시퀀스를 추론하는 확률론적 시퀀스 분류 모델이다. 시스템이 마르코프 과정을 따르되, 상태 자체는 보이지 않고 그 상태에서 발생하는 결과물(관측값)만 외부로 드러난다고 가정한다.

핵심 속성

• 마르코프 가정 (Markov Assumption): 특정 시점의 상태 확률은 오직 바로 직전의 상태에만 의존한다. ($P(q_i|q_{i-1})$)
• 출력 독립성 가정 (Output Independence): 특정 시점의 관측값은 오직 그 시점의 은닉 상태에 의존하며, 다른 상태나 관측값과는 무관하다. ($P(o_i|q_i)$)
• 구성 요소:
  • $Q$: 은닉 상태의 집합.
  • $A$: 상태 전이 확률 행렬 (Transition Probability Matrix).
  • $B$: 관측 확률 또는 방출 확률 (Emission Probabilities).
  • $\pi$: 초기 상태 분포.

관계

• 20260605-viterbi-algorithm-dynamic-programming-efficiency — 최적의 은닉 상태 시퀀스를 찾아내는 디코딩 알고리즘
• 20260605-unsupervised-learning-structural-assumptions — 라벨이 없는 데이터에서 파라미터를 학습하는 Forward-Backward 알고리즘의 원리
• 20260605-human-perception-as-hmm-decoding — HMM의 구조가 인간의 인지적 추론 모델과 유사함을 설명

인용

“A hidden Markov model (HMM) allows us to talk about both observed events (like words that we see in the input) and hidden events (like part-of-speech tags) that we think of as causal factors in our probabilistic model.”

출처

클리핑 · stanford.edu