HMM을 해결하는 두 알고리즘, 포워드(Forward)와 비터비(Viterbi)는 구조적으로 거의 동일하지만 단 하나의 연산 차이로 완전히 다른 질문에 답한다. 전자는 ‘합(Sum)‘을 사용하여 전체 가능성의 총량을 측정하고, 후자는 ‘최대(Max)‘를 사용하여 단 하나의 가장 강력한 서사를 선택한다. 이는 확률 모델에서 ‘존재의 증명’과 ‘최선의 해석’을 가르는 결정적 차이다.
근거
포워드 알고리즘은 모든 가능한 경로의 확률을 더하여 특정 관측치가 나타날 전체 확률(Likelihood)을 구한다. 반면 비터비 알고리즘은 각 단계에서 가장 확률이 높은 이전 단계만 선택하며 역추적(Backtrace)을 위한 경로를 남긴다. 수학적으로는 Sum이 Max로 치환된 것뿐이지만, 결과적으로는 전체 앙상블의 강도와 단일 최적 해라는 근본적 차이가 발생한다.
“Note that the Viterbi algorithm is identical to the forward algorithm except that it takes the max over the previous path probabilities whereas the forward algorithm takes the sum.”
연결된 생각
- forward-algorithm — 전체 가능성을 합산하는 관점.
- viterbi-algorithm — 단일 최적 경로를 선택하는 관점.
- dynamic-programming — 두 알고리즘 모두 중복 계산을 피하기 위해 사용하는 공통 기법.