연구의 목적이 ‘발견(Discovery)‘인지 ‘측정(Measurement)‘인지 구분하지 못하는 순간, N=5의 재앙이 시작된다. “5명 중 3명이 성공했으니 성공률은 60%다”라고 말하는 것은 전형적인 카테고리 오류다. 소규모 샘플의 목적은 ‘왜(Why)’ 망가졌는지를 진단하는 것이지, ‘얼마나 자주(How often)’ 발생하는지를 통계적으로 추정하는 것이 아니기 때문이다.
특히 심층 인터뷰나 멘탈 모델 조사에 N=5를 적용하는 것은 더욱 위험하다. 인터뷰는 인터페이스의 버튼을 찾는 과정이 아니라 사람들의 다양한 맥락과 가치관을 탐색하는 과정이기에, 샘플링의 논리 자체가 달라야 한다.
근거
측정 연구는 표본 오차를 줄이기 위해 훨씬 큰 샘플(보통 30~100명 이상)이 필요하지만, 발견 연구는 단 한 명의 사용자만으로도 결정적인 설계 결함을 찾아낼 수 있다.
“실용적인 구분은 간단하다. 무엇이 깨지는지 찾으려면 소규모 사용성 테스트를 사용하라. 얼마나 자주 깨지는지 추정하려면 대규모 측정 방법을 사용하라.”
연결된 생각
- 20260527-five-user-rule-usability-model — 발견 도구로서의 원래 목적
- 20260527-iteration-is-true-strength-of-small-samples — 발견 도구로서 성능을 극대화하는 방법