많은 팀이 “5명을 테스트했다”고 말하지만, 그 구성이 ‘신규 유저 2명, 파워 유저 1명, 해외 유저 1명, 다른 세그먼트 1명’인 경우가 많다. 이는 닐슨의 모델이 가정하는 ‘단일 모집단’이 아니다. 사실상 1인 샘플로 구성된 4개의 초소형 연구를 수행한 것과 다름없으며, 이 경우 각 집단에 대한 발견 확률은 극히 낮아진다.
근거
의미 있는 차이를 가진 하위 집단이 있다면, 샘플 사이즈는 집단별로 고려되어야 한다. 휴먼 팩터(Human Factors) 가이드라인에 따르면 일상적인 테스트의 경우 세그먼트당 12명, 고위험 작업의 경우 30명을 권장하며, 자원이 부족할 때만 세그먼트당 5~6명으로 낮춘다.
“세그먼트 간의 차이가 중요하다면, 그 세그먼트 내에서 무언가를 배울 수 있을 만큼의 충분한 인원이 필요하다. 전체 N값 뒤에 하위 집단의 복잡성을 숨겨서는 안 된다.”
연결된 생각
- 20260609-five-user-rule — 모델의 전제 조건인 ‘균질한 모집단’ 확인