‘모델을 돕기 위해 모델을 이해해야 한다’는 최승준의 말은 단순한 겸손이 아니다. 현재의 LLM은 우리가 일상적으로 사용하는 도구 이상의 이질적인 존재(alien)다. 이 이질성을 인정하고, attention 메커니즘, FFN, MoE, KV cache 같은 내부 구조를 조금이라도 이해하면 프롬프팅의 ‘감’이 아니라 ‘원리’로 접근할 수 있다.
에피소드에서 최승준은 Claude Opus 4.5의 등장, Karpathy의 FOMO, Noam Brown의 반박, Ethan Mollick의 확장 논의를 거쳐 결국 “기초로 돌아가자”고 주장한다. 특히 CoT 충실성(CoT Faithfulness)과 모니터링 세금(Monitorability tax) 같은 최신 개념을 소개하며, 모델의 내부 표현과 출력 간의 간극을 인지하는 것이 중요하다고 강조한다.
근거
“모델이 나를 잘 돕게 하려면 내가 모델을 잘 도울 필요가 있다는 생각을 많이 해요. … 모델을 도우려면 모델을 잘 알아야 되는 거잖아요.”
Transformer의 Sparse MoE 버전을 이해하면, 왜 특정 토큰이 특정 전문가 라우팅을 활성화하는지, 왜 KV cache가 긴 컨텍스트에서 중요한지 알 수 있다. 이 지식은 곧바로 프롬프트 설계에 적용된다. 예를 들어, “피상적이다”라는 피드백을 줘서 모델이 더 깊은 인물이나 개념을 소환하도록 유도하는 기법은, 모델이 ‘너무 쉬운 경로’로 빠지지 않도록 주의를 분산시키는 원리에 기반한다.
연결된 생각
- 20260606-적확한-토큰이-프롬프팅의-성패를-가른다 — 구체적인 토큰 프라이밍 전략
- token-priming — 개념 노트 (wiki)
- CoT-faithfulness — CoT 충실성 논의
- sparse-moe — MoE 이해
출처
- 📎 클리핑: 20260613-ep82-ko-transcript