최승준이 팟캐스트에서 시연한 여러 프롬프팅 기법들은 하나의 공통 원리를 공유한다: 모델은 이미 방대한 지식과 연상 능력을 갖고 있지만, 적절한 토큰이 입력되지 않으면 그 능력이 발현되지 않는다. 마치 스타크래프트에서 플레이어가 특정 지역에 도달해야 미니맵이 밝아지듯, 사용자가 도메인에 맞는 토큰을 먼저 제공해야 모델이 그 영역에서의 잠재력을 드러낸다.

근거

  • 무작위 4글자 두문자어 100세트를 생성한 후 “10개를 현재 대화 맥락에 관련된 두문자어로 읽어보라”는 지시는, 모델의 연상 능력(Pareidolia)을 활용해 새로운 개념 연결을 만들어냈다. 이는 사용자가 전혀 모르는 분야라도 모델이 스스로 의미를 생성하게 하는 방법이다.
  • arXiv 초록을 무작위로 불러와 “서로 연결 가능한 뻔하지 않은 통찰”을 요구했을 때, 모델은 전혀 다른 도메인의 논문들 사이에서 가교를 맺었다. 이는 Gwern의 LLM daydreaming 및 Co-scientist 계열의 가설 생성 작업과 연결된다.
  • A-Z 알파벳을 인물 이름으로 소환한 후 “피상적이다”라는 피드백을 주면, 표면적인 유명 인물에서 더 깊은 연구자 수준의 인물과 개념이 등장했다. 이는 반복적 단계를 통해 토큰 분포를 좁히는 전략이다.

연결된 생각

출처

클리핑 · youtu.be