거대 언어 모델(LLM)의 행동이나 도구 사용 능력을 교정하기 위해 천문학적인 컴퓨팅 자원을 들여 모델 전체를 재학습(Fine-tuning)하는 접근은 점차 경제적으로 지속 불가능해지고 있다. 그 대안으로 떠오른 것이 바로 프롬프트와 스킬 문서 자체를 최적화의 대상으로 삼는 ‘텍스트 공간(Textual Space) 최적화’ 방식이다.
근거
마이크로소프트의 SkillOpt에서 엿볼 수 있듯, 딥러닝에서 로스(Loss)를 보며 가중치를 조심스럽게 조정하는 경사하강법의 원리를 텍스트 문서 수정에 똑같이 적용할 수 있다. 모델의 가중치를 고정(Frozen)한 상태에서 외부의 스킬 매뉴얼만 수정하고 검증하면, 추가적인 재학습 비용 없이 오직 추론(Inference) 비용만으로 시스템 전체의 퍼포먼스를 끌어올릴 수 있다.
거대 모델 재학습은 천문학적 비용이 든다. 하지만 SkillOpt는 추가 추론 비용 없이 성능을 개선한다… 더 흥미로운 것은 이 스킬들이 특정 모델에만 묶이지 않는다는 점이다.
가장 중요한 차이는 ‘자산의 분리(Decoupling)‘다. 텍스트 공간에서 다듬어진 운영 자산은 특정 모델 하드웨어에 종속되지 않는다. GPT에서 학습시킨 텍스트 스킬 규칙을 Claude나 오픈소스 모델 생태계로 자유롭게 이식(Transfer)할 수 있게 되는 것이다. 이는 궁극적으로 거대 모델의 스펙트럼보다 잘 정제된 ‘명시적 지식 자산’이 더 중요해짐을 보여준다.
연결된 생각
- 20260610-skillopt — 텍스트 공간 최적화를 구현한 실제 사례 및 속성
- 20260610-agent-as-a-learning-organization — 이러한 경제적인 최적화 과정이 누적되어 탄생하는 에이전트 관료제
출처
- 📎 클리핑: 20260623-jinho-yoos-post