피드 상세
피드 게시물
[Goobong Jeong
• 3촌 이상
Host of Ralphthon | Optimistic Engineer](https://www.linkedin.com/in/gb-jeong?miniProfileUrn=urn%3Ali%3Afsd_profile%3AACoAACY7KJQBDtSTk6IuIwZY6ntBGJx1fCYwsYI)
2주 •
AI를 못 쓰는 회사는 매번 맨땅에서 시작합니다. 잘 쓰기 시작한 회사는 토큰 비용이 폭발합니다. 더 잘 쓰는 회사는 결국 범용 model의 taste 한계에 부딪힙니다.
Satya Nadella는 축적되지 않는 지식을, Ramp는 폭발하는 AI 비용을 말합니다. Thinking Machines와 Fireworks는 specialized model을 말합니다.
이 문제들은 이어집니다. 그래서 마지막에는 모든 회사에 Lab이 필요해집니다.
- AI를 써도 회사는 학습하지 않는다
직원은 frontier model의 틀린 답을 고치고 고객의 예외와 판단 기준을 알려줍니다. 그 순간에는 답이 좋아지지만 다음 대화에서는 같은 설명을 다시 해야 합니다.
기업은 AI를 사용할 때 돈만 내는 것이 아닙니다. 직원의 판단, 고객 경험, 실패를 수정하는 시간, 무엇이 좋은 답인지 정의하는 노력까지 투자합니다.
그런데 그 과정이 회사의 자산으로 남지 않는다면, 기업은 매일 학습하면서도 아무것도 축적하지 못합니다.
모델 회사가 우리 데이터로 학습하지 않는 것만으로는 충분하지 않습니다. 우리 회사가 자기 경험으로부터 학습해야 합니다.
그래서 먼저 private eval, correction, trace, memory와 skill을 남깁니다.
- 학습하기 시작하자 돈이 너무 빨리 탄다
AI가 실제 workflow에 들어가면 토큰 사용량이 폭발합니다. Ramp는 token을 사람과 vendor에 이은 기업 비용의 세 번째 기둥이라고 부릅니다.
AI 사용을 일괄적으로 줄이면 실제로 compounding하는 업무까지 멈춥니다. 계속 지불하면 어떤 workflow가 가치를 만드는지 모른 채 비용만 커집니다.
비용 데이터만으로는 model을 바꿀 수 없습니다. Private eval이 있어야 같은 업무를 여러 model에 시키고 품질 기준을 통과하는 가장 경제적인 model을 고를 수 있습니다.
단순한 업무에는 작은 model, 기준이 명확한 반복 업무에는 specialized model, 새롭고 중요한 문제에는 frontier model을 씁니다.
모델 라우팅은 내가 Claude를 선호하냐, Gemini를 선호하냐의 문제가 아닙니다. 어디에 얼마나 많은 지능을 투입할지 정하는 자본 배분입니다.
비용이 높다고 해서 바로 파인튜닝 하면 안 됩니다. Prompt, context, caching, skill, memory와 routing부터 고칩니다.
이것까지 다 잘했을 때 마지막 천장이 다가옵니다. 끝판왕이죠.
- 범용 model은 우리 회사의 taste를 모른다
Frontier model은 세상에서 평균적으로 좋은 답을 만듭니다. 하지만 회사가 엑스트라 마일을 가는 방법은 평균적으로 좋은 답을 구한다고 해서 나오지 않습니다.
어떤 고객을 중요한 고객으로 보는가. 어떤 위험을 감수하는가. 어떤 문서가 읽을 가치가 있는가. 무엇을 좋은 디자인, 코드, 투자 판단이라고 보는가.
이건 단순한 취향 얘기가 아닙니다. 회사가 고객과 실패를 겪으며 만든 particular intelligence입니다. 중요한 판단일수록 말로 완벽하게 설명하기 어렵습니다.
Bridgewater AIA Labs에서 전문가가 prompt를 직접 개선한 frontier model은 최고 78.2%였습니다. 투자자의 실제 판단으로 dataset과 eval을 만들고 Qwen을 훈련하자 84.7%를 기록했습니다. 실수는 29.8% 줄었고 inference cost per task는 13.8배 낮았습니다.
모든 업무에서 custom model이 낫다는 뜻은 아닙니다. 반복량, stable eval, 조직 고유의 feedback이 있는 업무에서는 우리 판단을 배운 model이 더 정확하고 더 쌀 수 있다는 뜻입니다.
- 끝에는 회사 자체가 Thinking Machine이 된다
Thinking Machines의 Tinker에서 회사는 dataset, objective, environment와 eval을 정합니다. 개선 결과는 prompt와 skill, memory에 남을 수도 있고 필요한 경우 adapter와 weights에 들어갈 수도 있습니다.
Model을 바꿀 수 있다는 건 dataset, eval, environment와 training recipe가 회사에 남아 새로운 base model에서도 그 능력을 다시 훈련하고 검증할 수 있다는 뜻입니다.
Fireworks가 처리하는 하루 40조 개가 넘는 token 중 95% 이상은 고객 데이터와 특정 업무에 특화된 model에서 나옵니다. Production AI가 specialized intelligence로 이동하고 있습니다.
끝판왕은 Thinking Machines라는 회사를 쓰는 게 아닙니다. 우리 회사 자체가 하나의 Thinking Machine이 되는 겁니다.
아직 답이 없는 문제를 고르고, eval을 만들고, feedback을 남기고, 어디를 개선할지 결정하고, 업무마다 model을 배분하고, 실제 outcome을 보고 다음 질문을 고르는 것.
이 학습 루프가 도는 회사가 Lab입니다.
모두가 같은 frontier model을 쓸수록 model 접근성은 해자가 되지 못합니다. 무엇을 풀 가치가 있다고 보는지, 무엇을 좋은 답이라고 판별하는지, 고객에게 배운 것을 얼마나 빠르게 다음 version에 남기는지가 회사의 taste가 됩니다.
Taste가 eval이 되고, eval이 data를 만들고, data가 model과 workflow를 개선합니다. 이 compounding loop가 회사를 엑스트라 마일까지 데려갑니다.
모든 회사가 자기 foundation model을 가질 필요는 없습니다. 하지만 AI가 핵심 workflow에 들어오는 순간, 모든 회사는 자기만의 learning system을 가져야 합니다.
프런티어 모델은 지능을 공급합니다. Internal Lab은 무엇을 학습하고 어디에 그 지능을 쓸지 결정합니다.
모델은 빌릴 수 있습니다. 회사의 taste와 학습곡선은 회사 안에 복리로 쌓여야 합니다.
반응
-
[
](https://www.linkedin.com/in/ACoAAGPEUEoBe4W1OtXcPM9dhSiBPd4fCwcRL98)
-
[
-
[
-
[
-
[
-
[
-
[
-
[
[### kris yu • 3촌 이상
Founder & CEO at Conscience Technology](https://www.linkedin.com/in/kris-yu-350510263)
2주
너무 공감되는 글입니다 ㅎㅎㅎ