업계에서 “5명이면 충분하다”는 말을 들을 때마다 나는 그 뒤에 붙은 “~을 위해”라는 전치사가 무엇인지 묻고 싶어진다. 이 글은 바로 그 질문을 정확히 집어준다. N=5는 사용성 문제를 발견하기 위한 발견적(heuristic) 도구일 뿐, 어떤 비율을 추정하거나 하위 그룹을 비교하기 위한 측정 도구가 아니다. 이 구분을 무시하면 연구자는 3/5의 성공률을 60%라고 말하는 오류를 저지르게 된다.
근거
원문에서 저자는 측정 목적으로 N=5를 사용하는 것을 “가장 심각한 오용”이라고 단언한다. “If 3 out of 5 users complete a task, that does not mean the completion rate is 60%. It means three people in that session completed it.” 또한 하위 그룹에 대해서는 “five total users tells you very little about novices versus experts”라고 지적한다. 이는 단순한 샘플 크기 문제가 아니라 연구 설계의 목적과 방법론의 정합성 문제다.
연결된 생각
- 20260527-five-user-rule-conditions-limits — 규칙의 원래 조건과 한계를 정의한 개념 노트
- faulkner-2003-variance-study — 5명 샘플의 변동성이 실제로 얼마나 큰지 보여주는 연구 (생성 필요 시 stub)
- why-beats-what-nielsen-2024 — Nielsen 스스로 ‘왜’가 ‘무엇’보다 우선한다고 재확인한 글