5명 사용자 테스트 규칙 (The Five-User Rule)

정의

N=5 규칙(The Five-User Rule)은 형성적 사용성 테스트(formative usability testing)에서 5명의 사용자만으로도 인터페이스 문제의 약 85%를 발견할 수 있다는 1993년 제이콥 닐슨(Jakob Nielsen)의 수학적 모델에 기반한 UX 리서치 경험 법칙이다.

핵심 속성

• 수학적 모델: $L=1-(1-p{)}^n$ (L: 발견된 문제 비율, p: 1명의 사용자가 문제를 겪을 확률, n: 사용자 수)
• 성립 전제: 단일한 동질적 사용자 집단이어야 하며, 결함을 ‘발견’하려는 목적이어야 하고, 반드시 이후 ‘반복적 개선(Iteration)‘이 수반되어야 한다.
• p값의 종속성: 원본 연구의 p값(평균 0.31)이 성립하지 않는 환경(희귀하거나 특정 세그먼트에서만 나타나는 문제 등, 예: p=0.10)에서는 5명으로 41%의 문제밖에 발견하지 못한다.
• 오용 사례: 정량적 측정(완료율, 성공률)을 위한 모수로 사용하거나, 서로 다른 사용자 세그먼트를 섞은 상태에서 총합 N=5로 퉁치거나, 일반적인 개방형 정성 인터뷰(Discover)에 일괄 적용하는 행위.

관계

• usability-testing — 상위개념
• formative-evaluation — 상위개념
• sample-size-heuristics — 대조

인용

“N=5 is reasonable when the goal is formative usability discovery, the interface is bounded, users are similar enough for the task, problems are likely to be observable, the team will iterate, and the output is a list of issues rather than a metric.”

출처

클리핑 · open.substack.com