리서치 표본을 5명으로 제한하면 우리는 필연적으로 ‘평균적 사용자’의 목소리만 듣게 된다. 이는 통계적으로는 관리하기 쉽지만, 제품의 혁신은 대개 분포의 끝(Long tail)에 있는 열성 사용자나 특이한 문제를 겪는 사용자로부터 시작된다는 점을 간과한 처사다.
근거
바흐시는 작은 표본 크기가 가져오는 가장 큰 해악으로 ‘통계적 편의주의(Statistical convenience)‘를 꼽는다. 팀이 5명만 조사할 때, 그들은 실제 인간의 다양성을 이해하기보다 그들 자신의 가정을 확인해줄 5명의 표본을 찾는 데 그치기 쉽다.
“작은 N값에 의존하는 것은 종종 팀으로 하여금 실제 인간이 아닌, 통계적 편의성(평균 사용자)을 위해 디자인하게 만든다. 특히 분포의 롱테일에 있는, 가장 열성적인 사용자들의 목소리를 놓치게 된다.”
비즈니스의 승패는 때로 85%의 평범한 발견이 아니라, 나머지 15%의 결정적인 불편함을 해결하는 데서 갈린다. 5명에 갇히는 순간, 그 15%는 영원히 보이지 않는 영역(Blind spot)으로 남는다.
연결된 생각
- 20260611-five-user-rule-folklore-and-misuse — 작은 표본이 만드는 인지적 사각지대
- 20260605-ai-search-problem-paradigm — 희귀한 정보를 찾는 것이 곧 경쟁 우위가 되는 시대의 검색 논리