Andrej Karpathy조차 “Claude Opus 4.5를 따라잡지 못한 사람은 이미 deprecated된 세계관을 가지고 있다”고 말하는 시대다. 하지만 최승준은 오히려 이 급가속의 시기에 Transformer와 Sparse MoE로 돌아가 기초를 복습하자고 제안한다. 이는 반직관적이지만 깊은 통찰이다. 표면의 도구와 기법이 빠르게 변할수록 그 아래 작동하는 원리(Attention, FFN→MoE, KV cache, Residual connection)를 이해하는 것이 오히려 변화에 대한 면역력을 키워준다.
근거
- 최승준은 “이 내용이 소중해서라기보다 공부할 수 있는 시간이 급가속하는 상황에서는 많지 않을 수 있기 때문에 기초를 챙겨보려는 것”이라고 말한다. 이는 FOMO 때문에 계속 새로운 도구를 쫓는 대신, 잠시 멈춰서 근본을 이해함으로써 앞으로 나올 변화들에 더 잘 대비하겠다는 전략이다.
- 실제로 팟캐스트에서 최승준이 시도한 프롬프팅 기법들(두문자어, arXiv, A-Z 소환)은 모두 모델의 근본 작동 원리(Attention 분포, MoE 라우팅, 연속적인 자기회귀)를 의식적으로 활용한 결과다. 기초를 알기 때문에 더 창의적으로 모델을 활용할 수 있었던 것이다.
- CoT 충실성, Monitorability tax, RL의 스킬 합성(f(g(x))) 등 최신 연구 개념들도 결국은 트랜스포머의 residual stream과 MoE 전문가 활성화 패턴으로 설명될 수 있다. 기초를 알면 겉도는 논의에 휩쓸리지 않는다.
연결된 생각
- 20260607-principled-prompting-concept — 기초 이해가 프롬프팅에 어떻게 적용되는지
- 20260607-precise-tokens-unlock-model-overhang — 기초 원리에서 파생된 구체적 기법들
출처
- 📎 클리핑: 20260613-ep82-ko-transcript