팀이 “우리는 5명의 사용자를 대상으로 테스트했다”고 보고할 때, 그 5명의 구성을 현미경으로 들여다봐야 한다. 만약 신규 사용자 2명, 헤비 유저 1명, 글로벌 사용자 1명, 타겟 연령층 1명을 섞어 5명을 채웠다면, 이는 N=5 실험이 아니라 파편화된 N=1 또는 N=2짜리 초미니 실험들을 억지로 기워 붙여 샘플 크기를 부풀린 것에 불과하다.
근거
문제 발견 확률 는 동질적인 그룹 내에서만 유효한 수학적 상수다. 서로 다른 행동 패턴과 멘탈 모델을 가진 서브그룹(Subgroup)을 하나의 ‘총 N수’ 안에 몰아넣게 되면 각 세그먼트가 가지는 고유한 문제는 희석되고 만다. 따라서 특정 세그먼트의 엣지 케이스를 확인하고 싶다면, 해당 세그먼트 안에서만 유의미한 수(최소 5명)를 모집해야 한다. 4개의 각기 다른 사용자 군을 한 번에 다룬다면, 그것은 1개의 연구가 아니라 4개의 개별 연구로 취급되어야 한다.
“A study spanning four meaningfully different user groups is four studies wearing one sample size.”
연결된 생각
- subgroup-analysis-pitfalls — 전체 평균이나 총합으로 데이터를 뭉뚱그리면 도메인 핵심 이질성이 소거된다.