OpenAI의 블랙홀 연구자 영입 일화가 보여주는 것은 모델의 능력이 아니라 사용법의 능력이다. 같은 모델, 같은 문제인데 어떻게 접근하느냐에 따라 “역시 인간이 낫다”와 “지금 참여하지 않는 건 미친 짓이다” 사이를 오간다. 능력의 최전선에서 모델을 쓰는 기술은 곧 문맥을 데우는 기술이다.
근거
블랙홀 연구자 Alex가 자신의 최신 논문 관련 대칭성 문제를 GPT Pro에 던졌더니 틀렸다. Mark Chen의 처방은 “같은 채팅창에서 쉬운 문제를 먼저 줘보라”였다. 쉬운 문제에 9분 생각해 아름다운 답을 내놓은 뒤, 몸풀기로 priming된 같은 컨텍스트에서 다시 어려운 문제를 던지자 18분 만에 pre-training에 들어가지도 않은 최신 문제를 완전히 정확하게 풀었다.
“능력 한계에 있는 최전선에 문제를 던져주면 틀릴 때가 많지만 그건 인간도 마찬가지다. 아직은 자동이 아니다. 모델을 잘 활용하는 연구자들은 모델과 끈기 있게 대화를 주고받는 사람들이다. 능력의 한계치에서 작업하는 두 사람이 협업하는 방식과 비슷하다.” — Kevin Weil
한 번 던져보고 실패를 결론으로 삼는 것은 모델 평가가 아니라 사용자 평가에 가깝다. 최전선의 성능은 back-and-forth 속에서만 드러난다.
연결된 생각
- 20260606-token-priming — 이 일화는 토큰 프라이밍이 벤치마크 밖 실전에서 작동함을 보여주는 사례다
- 20260707-memory-externalization-bypasses-continual-learning — 프라이밍이 세션 내 임시 해법이라면, 외재화는 세션 간 영속 해법이다
출처
- 📎 클리핑: 20260707-ep78-ko-transcript