“도메인 지식이 해자다”라는 통념도 흔들린다. 어떤 도메인의 크기를 100이라 하면 0부터 약 95까지는 frontier 모델이 매우 잘한다. 남는 것은 위쪽 5% — 명세화·문서화되지 않은 암묵지(tacit knowledge)뿐이다. 이것만이 ChatGPT가 못하는 영역이다.

근거

암묵지의 예는 도처에 있다. 철강 공정에서 “마지막 단계에 가스 불을 줄여야 한다”는 장인의 감각, 화장품 제조의 미세 조정, 로펌에서 수십 명이 투입되어도 결정적 해결은 맨 위 두세 명이 샤워하다 떠올린 전략에서 나오는 것.

그 5%가 (…) 암묵지의 영역이고 그 암묵지를 ontology로 구현하거나 혹은 (…) 매뉴얼로 책 한 권을 써서 모델에게 학습시키면 그게 ChatGPT가 못하는 그 어떤 영역일 거야

이 암묵지를 표현하는 두 방법은 dual 관계다. 모든 경우를 텍스트로 쓰거나(fine-tuning), 객체와 관계로 압축하거나(graph RAG/ontology). 후자가 훨씬 작게 표현된다. 사람들은 이 활동을 context graph라 부르기 시작했다. frontier 모델이 싸지면 context engineering이, 비싸지면 fine-tuning이 유리해지는 trade-off다.

연결된 생각

출처

클리핑 · youtu.be