“5명이면 85% 발견”이라는 문구는 평균값일 뿐, 실제로는 최악의 경우 55%만 발견할 수도 있다. Laura Faulkner(2003)의 시뮬레이션은 이 점을 명확히 보여준다. 흥미로운 것은 10명으로 늘리면 최악의 경우에도 80% 이상을 발견한다는 점이다. 이는 리소스가 허락한다면 5명보다 10명을 목표로 삼는 것이 훨씬 안정적인 결과를 가져온다는 실용적 교훈을 준다. 나는 이 임계점을 ‘Faulkner threshold’라고 부르고 싶다.
근거
원문 인용: “At ten users, the worst sample still found 80% of the problems. At twenty, it found 95%. So even when five is the right kind of study, ‘five to ten’ can buy a meaningful jump in reliability before you commit to the floor.” Faulkner의 원 실험은 60명의 사용자 데이터에서 무작위 샘플을 100번 반복 추출하여 각 샘플 크기별 변동성을 측정한 것이다.
연결된 생각
- 20260527-five-user-rule-conditions-limits — N=5의 조건과 한계를 개념적으로 정리
- sauro-2010-p-equals-01-problem — p=0.1일 때 필요한 샘플 크기가 18명에 달한다는 Sauro의 계산 (생성 필요 시 stub)
- spool-schroeder-2001-websites-complexity — 복잡한 웹사이트에서는 N=5가 훨씬 부족하다는 반증 연구