실무에서 흔히 “5명만 테스트하면 충분하다”는 말을 오남용한다. 5명 중 3명이 작업을 완료했다고 해서 그 태스크의 사용자 성공률이 60%라고 결론짓는 것은 대표성 없는 통계적 허상이다. 발견(Discovery)과 측정(Measurement)은 완전히 다른 게임이다.
근거
N=5 규칙의 기원이 된 제이콥 닐슨의 수식 은 철저하게 ‘문제의 발견’에 초점이 맞춰져 있다. 소수의 사용자가 반복해서 겪는 명백한 인터페이스 오류를 찾아내 고치는 데에는 탁월하지만, 이를 전체 모수로 삼아 ‘이 문제가 얼마나 자주 발생하는가’를 정량적으로 증명하려고 하면 필연적으로 실패한다. 작은 표본(Small-N)은 사용자가 “왜 실패하는지” 진단하는 데 쓰고, 그 문제가 비즈니스에 미치는 타격을 알고 싶다면 더 넓은 방법론(Large-N)으로 전환해야 한다.
“The exact population rate matters less than the fact that the design is breaking in an observable way.”
연결된 생각
- discovery-vs-measurement — 목적에 따라 연구 방법론이 완전히 분리되어야 한다.