코드의 침묵과 문서의 소음 - LLM 위키가 놓치는 것
LLM이 깃허브 저장소를 분석하여 위키를 만들 때, 코드가 의도적으로 침묵하는 부분을 놓친다.
코드가 침묵하는 이유
코드는 다음과 같은 이유로 특정 정보를 생략한다:
- 보안: 비밀번호, API 키, 취약점 정보는 코드에 기록되지 않음
- 정치적 결정: “왜 A가 아니라 B를 선택했는가”는 커밋 메시지에 담기지 않음
- 실패의 역사: 실패한 접근법은 코드에서 사라지고, 성공한 접근법만 남음
문서가 만들어내는 소음
반면 LLM 위키는 다음과 같은 소음(Noise) 을 생성한다:
- 과도한 일반화: 특정 맥락에서만 유효한 패턴을 보편적 진리로 포장
- 의사 결정의 단순화: 복잡한 트레이드오프를 이분법적 선택으로 축소
- 확신의 오류: 불확실성을 제거하고 확정적인 언어로 표현
진정한 지식은 간극에 있다
가장 가치 있는 통찰은 코드가 말하지 않는 것과 문서가 말하는 것의 간극에 존재한다. 이 간극을 인식하는 것이 LLM 위키를 비판적으로 읽는 첫걸음이다.