모두가 같은 frontier model에 접근할 수 있게 되는 순간, 모델은 해자가 아니라 전기요금이 된다. 남는 차별점은 하나뿐이다. 무엇을 풀 가치가 있다고 보는가, 무엇을 좋은 답이라고 판별하는가.

정구봉은 이걸 particular intelligence라 부른다. 어떤 고객을 중요하게 보는가, 어떤 위험을 감수하는가, 무엇을 좋은 디자인·코드·투자 판단이라 보는가. 회사가 고객과 실패를 겪으며 만든 것이고, 중요한 판단일수록 말로 완벽히 설명하기 어렵다.

근거

Bridgewater AIA Labs의 수치가 이 주장을 정량화한다. 전문가가 prompt를 직접 개선한 frontier model은 78.2%. 투자자의 실제 판단으로 dataset과 eval을 만들어 Qwen을 훈련하자 84.7%. 실수는 29.8% 줄고, task당 inference cost는 13.8배 낮아졌다.

주목할 점은 정확도와 비용이 동시에 개선됐다는 것이다. 보통 이 둘은 트레이드오프인데, 조직 고유의 판단을 학습시키면 트레이드오프 자체가 사라진다. 평균적으로 좋은 답을 구하려고 큰 모델을 굴리는 것보다, 우리 기준을 아는 작은 모델이 더 정확했다.

Taste가 eval이 되고, eval이 data를 만들고, data가 model과 workflow를 개선합니다.

이 루프가 왜 복리인지는 각 단계가 다음 단계의 입력이 되기 때문이다. taste를 명시화하면 eval이 되고, eval을 돌리면 라벨링된 data가 쌓이고, 그 data로 model이 개선되면 더 미세한 taste를 판별할 수 있게 된다. 한 바퀴 돌 때마다 시작점이 올라간다. 그래서 남보다 1년 먼저 시작한 회사를 1년치 예산으로 따라잡을 수 없다.

다만 만능은 아니다. custom model이 이기는 조건은 반복량 + stable eval + 조직 고유 feedback, 세 가지가 모두 있을 때다. 새롭고 애매한 문제는 여전히 frontier model의 몫이다.

연결된 생각

출처

클리핑 · linkedin.com