리서치의 엄밀성은 고정된 숫자 '5'가 아니라 '발견 확률'($p$)에 의해 결정되어야 한다

리서치 설계를 시작할 때 “몇 명을 만날까요?”라는 질문에 앞서 “우리가 찾는 문제는 얼마나 흔한가?”를 먼저 물어야 한다. 만약 당신이 찾는 인사이트가 누구나 발견할 수 있는 명확한 것이라면 5명으로 충분하겠지만, 복잡한 맥락이나 특정 세그먼트에 국한된 문제라면 5명은 당신을 속이는 숫자가 될 것이다.

근거

5인 법칙의 핵심 수식인 $1-(1-p{)}^n$에서 가장 중요한 변수는 $n$(명수)이 아니라 $p$(한 사용자가 문제를 발견할 확률)다. 바흐시는 많은 팀이 $p$를 상수로 가정하는 오류를 범한다고 지적한다.

“만약 문제가 희귀하고, 맥락 중심적이며, 특정 그룹에만 해당한다면($p$값이 낮다면), 5명은 대다수의 문제를 놓치게 된다. 이는 리서치 실패가 아니라 수학적으로 당연한 결과다.”

즉, 리서치 난이도와 대상의 희소성에 따라 필요한 숫자는 유동적으로 변해야 한다. 고정된 ‘5’에 집착하는 것은 리서치를 과학이 아니라 종교로 취급하는 것과 같다.

연결된 생각

• 20260611-five-user-rule-usability-testing — $p$값의 수학적 배경
• 20260515-rigorous-qualitative-methodology — 정성적 데이터의 신뢰성을 확보하기 위한 실제적인 엄밀성 확보 방안

출처

클리핑 · saeidehbakhshi.substack.com