나는 UX 연구자들이 “5명이면 되나요?”라는 질문을 던질 때마다, 그 질문 자체가 잘못되었다고 생각한다. 올바른 질문은 “이 연구로 무엇을 결정할 것인가?”이다. 문제 발견이 목적이라면 5명이 합리적일 수 있지만, 측정(예: 성공률 추정)이 목적이라면 훨씬 더 많은 표본이 필요하다. 또한 하위 집단(신규 사용자 vs 숙련 사용자)을 비교해야 한다면 각 집단마다 최소 5~12명이 필요하다. 표본 크기는 연구의 목적과 의사결정 유형에 종속된다.

근거

원문에서는 “enough for what?”이라는 질문을 핵심으로 제시하며, 세 가지 실제 계획 시나리오를 통해 표본 크기 결정의 맥락 의존성을 설명한다. 또한 Jeff Sauro의 분석에 따르면 p=0.10인 문제(10% 사용자만 경험)를 85% 확률로 발견하려면 약 18명의 사용자가 필요하다.

“The practical distinction is simple: use small-N usability testing to find what breaks. Use larger-N methods to estimate how often it breaks.”

연결된 생각

출처

클리핑 · Substack (Saeideh Bakhshi)