어떤 프레임워크나 휴리스틱이 대중적으로 인기를 끌기 위해서는 ‘실용적인 단순함’이 필수적이다. “5명만 테스트해도 충분하다”는 닐슨의 선언은 사용성 테스트의 진입 장벽을 극적으로 낮추는 데 기여했다. 하지만 이 단순함은 곧 치명적인 독이 되어 “모든 정성 조사에는 5명이면 충분하다”는 교조적 맹신을 낳았다.
근거
모든 널리 퍼진 베스트 프랙티스는 수학적, 혹은 환경적 전제 조건 위에서만 성립한다. 닐슨의 규칙에서 (단일 사용자의 평균 문제 발견 확률)이라는 상수와 “문제를 찾으면 고치고 다시 반복(iterate)한다”는 전제가 사라지는 순간, 규칙은 껍데기만 남는다. 도구가 탄생한 맥락과 제약 조건을 무시하고, 결과론적인 ‘숫자’나 ‘형식’만 맹목적으로 차용하는 것은 전형적인 카고 컬트(Cargo Cult)다. 훌륭한 휴리스틱일수록 그 이면의 한계를 정확히 인지할 때만 강력한 무기가 된다.
“The rule spread because it was useful… But the same simplicity made the rule easy to detach from its context.”
연결된 생각
- cargo-cult-agile — 원리와 맥락에 대한 치열한 이해 없이 겉모습만 흉내 내는 안티 패턴.
- goodharts-law — 맥락 없이 방법론의 수행 자체가 목표가 되면 원래의 유용성을 상실한다.