흔히 질적 연구(인터뷰, 관찰 등)는 연구자의 주관적 해석에 의존하므로 과학적이지 않다는 오해를 받는다. 그러나 마리오 루이스 스몰과 제시카 칼라코는 ‘단단한(Robust)’ 연구의 핵심이 결과의 재현성이 아니라 ‘과정의 투명성’에 있다고 주장한다. 연구자가 왜 그 피험자를 선택했는지, 어떤 편향을 가지고 현장에 들어갔는지, 그리고 수집된 방대한 텍스트 중 왜 특정 구절을 핵심 테마로 분류했는지를 명확히 밝힐 때 비로소 연구는 권위를 얻는다.
근거
질적 연구에서 데이터는 스스로 말하지 않는다. 연구자가 데이터를 가공하고 연결하는 ‘파이프라인’ 자체가 연구의 실체다. 이 책에서 강조하는 ‘단단함’은 외부의 비판에 흔들리지 않는 논리적 구조를 의미하며, 이는 모든 처리 단계를 기록하고 공개하는 습관에서 시작된다.
“엄밀성은 연구자가 자신의 주장을 뒷받침하기 위해 어떤 증거를 선택하고 배제했는지에 대한 정당화 과정에서 발생한다.”
연결된 생각
- 20260515-robust-qualitative-research-guide — 이 통찰의 원천이 된 방법론 도서
- 20260615-patterns-for-building — LLM의 Evals(평가) 과정도 정성적 데이터를 정량화하거나 논리적으로 검증하는 질적 연구의 과정과 닮아 있다.