Nielsen의 85% 발견률은 평균값일 뿐이며, 실제로는 어떤 5명을 만나느냐에 따라 결과가 크게 달라진다. Laura Faulkner의 2003년 연구는 이 변동성을 명확히 보여준다. 60명의 사용자 데이터에서 무작위 5명 표본을 반복 추출했을 때, 최고는 99% 발견했지만 최저는 55%에 그쳤다. 즉, 운이 나쁘면 절반 가까이 놓칠 수 있다는 뜻이다. 반면 10명으로 늘리면 최저 80%로 안정화되고, 20명이면 95%에 도달한다. 따라서 5명 규칙은 “안전한 숫자”가 아니라 “리스크를 감수한 트레이드오프”다.
근거
“The best samples of five found 99% of the problems. The worst found 55%. The famous 85% is an average with a wide cloud around it, and where you land depends heavily on which five users you happen to recruit.”
이 결과는 원문에서 Faulkner(2003) 연구를 인용하여 제시되었다. 실제 연구 계획에서는 5명의 변동성을 인지하고, 위험 감수도(risk tolerance)에 따라 8~10명으로 늘리는 것이 합리적일 수 있다.
연결된 생각
- 20260527-five-user-rule — 개념의 정의와 p값 가정
- 20260527-sample-size-enough-for-what — 연구 목적에 따른 표본 크기 결정
- spool-schroeder-2001-web-complexity — 복잡한 웹 환경에서 5명의 한계