정의
은닉 마르코프 모델(HMM)은 관찰 가능한 이벤트의 시퀀스로부터 직접 관찰되지 않는 ‘은닉 상태(Hidden State)‘의 시퀀스를 추론하는 확률론적 시퀀스 분류 모델이다. 마르코프 체인을 확장하여, 현재의 상태가 오직 직전 상태에만 의존한다는 마르코프 가정을 유지하면서 출력 독립성 가정을 추가한 형태를 띤다.
핵심 속성
- 상태 집합 (Q): 개의 은닉 상태들 ().
- 전이 확률 행렬 (A): 상태 에서 상태 로 이동할 확률 들의 집합.
- 관측 확률/방출 확률 (B): 특정 은닉 상태 에서 특정 관측값 가 생성될 확률 .
- 초기 상태 분포 (): 모델이 각 상태에서 시작할 확률.
- 관측 시퀀스 (O): 실제로 관찰된 데이터 시퀀스.
3대 핵심 문제 및 해결 알고리즘
- 우도 계산 (Likelihood): 주어진 모델 에서 관측 시퀀스 가 나타날 확률 을 구하는 문제. forward-algorithm을 통해 효율적으로 해결한다.
- 디코딩 (Decoding): 관측 시퀀스 가 주어졌을 때, 이를 생성했을 가능성이 가장 높은 최적의 은닉 상태 시퀀스 를 찾는 문제. viterbi-algorithm을 사용한다.
- 학습 (Learning): 관측 시퀀스 와 상태 집합만 주어졌을 때, 모델의 파라미터 를 학습하는 문제. [forward-backward-algorithm]을 통해 비지도 학습을 수행한다.
관계
- markov-chain — 상위개념: 은닉 상태 개념이 없는 가시적 확률 모델.
- viterbi-algorithm — 해결도구: HMM의 최적 경로 탐색 알고리즘.
- forward-algorithm — 해결도구: 전체 관측 확률 합산을 위한 동적 계획법 알고리즘.
- expectation-maximization — 상위범주: Baum-Welch 알고리즘이 속하는 일반적 최적화 프레임워크.
인용
“A hidden Markov model (HMM) allows us to talk about both observed events (like words that we see in the input) and hidden events (like part-of-speech tags) that we think of as causal factors in our probabilistic model.”