현업에서 가장 흔히 저지르는 실수는 5명의 참가자 안에 신규 사용자, 파워 유저, 글로벌 사용자 등을 골고루 섞어놓고 “충분히 테스트했다”고 자위하는 것이다. 이것은 5인 법칙의 대전제인 ‘동질적 집단’ 가정을 정면으로 위반한다. 서로 다른 세그먼트가 섞인 N=5는 사실상 각 세그먼트당 N=1인 연구를 모아놓은 것에 불과하며, 이는 어떤 그룹에 대해서도 유의미한 패턴을 도출할 수 없는 ‘희석된 데이터’를 만든다.
근거
닐슨 모델은 단일 모집단에서의 발견 확률을 계산한다. 사용자 그룹 간의 차이가 중요한 리서치라면, 샘플 사이즈는 ‘전체 N’이 아니라 ‘세그먼트당 n’으로 계산되어야 한다. 4개의 의미 있는 사용자 그룹이 있다면, 이는 하나의 연구가 아니라 5명씩 수행되는 4개의 독립적인 연구로 간주해야 한다.
“한 연구가 네 개의 의미 있게 다른 사용자 그룹을 포괄한다면, 그것은 하나의 샘플 사이즈를 입은 네 개의 연구다.”
연결된 생각
- 20260611-five-user-rule-usability-testing — 모델이 전제하는 ‘동질성’ 개념
- 20260611-five-user-rule-is-tradeoff-not-magic — 세그먼트를 무시하는 것이 어떤 비즈니스적 위험을 초래하는지에 대한 연결