“5명 중 3명이 성공했으니 성공률은 60%다”라는 주장은 질적 발견(Discovery)의 논리를 정량적 측정(Measurement)의 영역으로 무단 침범시킨 결과다. 작은 샘플 사이즈는 ‘무엇이 깨졌는가(Why)‘를 찾는 데는 탁월하지만, ‘얼마나 자주 깨지는가(How often)‘를 추정하는 데는 통계적으로 아무런 힘이 없다. 5명이라는 숫자는 발견을 위한 휴리스틱일 뿐, 보편적인 표본 추출 원칙이 아니다.
근거
정량적 연구는 모집단 추정을 위해 훨씬 큰 샘플이 필요하다. 5명의 샘플에서 발생하는 변동성은 매우 크며, 특정 문제가 10%의 확률로 발생한다면 5명의 샘플에서 그 문제를 발견할 확률은 41%에 불과하다. 즉, 발견하지 못할 확률이 더 높다.
“실무적 구분은 간단하다. 무엇이 고장 났는지 찾으려면 작은 N의 사용성 테스트를 사용하라. 얼마나 자주 고장 나는지 추정하려면 큰 N의 방법론을 사용하라.”
연결된 생각
- 20260609-n5-rule-is-not-magic-but-tradeoff — 질적 연구에서의 타협점으로서의 가치