샘플 사이즈 논쟁에서 팀이 하는 실수는 추상적인 숫자를 물어보는 것이다. “5명으로 충분한가요?” “12명은 어때요?” 이 질문은 답이 없다. 연구의 목적이 무엇인지를 먼저 명확히 해야 한다.
세 가지 다른 목적은 세 가지 다른 샘플 사이즈 논리를 요구한다.
발견(Discovery): “이 플로우에서 주요 usability 문제를 찾고 싶다. 팀이 다음 스프린트에서 수정할 것이다.” → 5~8명, 균질 집단, 반복 계획 있으면 방어 가능.
세그먼트 이해: “신규 사용자와 숙련 사용자가 다르게 반응하는지 알고 싶다.” → 세그먼트당 인원을 계산해야 한다. 전체 N이 아니라 그룹 내 N이 기준이다.
측정(Measurement): “이 태스크의 성공률이 얼마나 되는지 알고 싶다.” → 소규모 모더레이티드 세션으로는 답할 수 없다. 왜 실패하는지는 알 수 있지만, 얼마나 자주 실패하는지는 알 수 없다.
실용적인 방법은 연구 계획 회의에서 다음 문장을 완성하는 것이다. “이 연구에서 우리는 ___를 추정하려는 것이 아니다. 우리는 ___를 발견하려 한다. 따라서 샘플 사이즈는 ___가 적절하다.” 목적을 먼저 명시하면 샘플 사이즈는 자연스럽게 따라온다.
N=5 논쟁에서 진짜 교훈은 숫자가 아니다. 연구 목적과 샘플 설계가 정렬되어야 한다는 것이다.
근거
“The replacement for the five-user rule is not another universal number. It’s a clearer statement of what the study is designed to do. Name the job of the study before defending the sample size.”
“Always ask: enough for what?”
연결된 생각
- 20260527-nielsen-n5-usability-discovery-model — 목적별 적용 조건의 체계적 정리
- 20260527-n5-rule-escaped-its-context — 목적 명시 없이 숫자만 가져갈 때 생기는 문제
- 20260508-guardrails-defensive-ux-for-trust — 연구 목적 명확화가 방어적 설계와 연결되는 지점