이 클리핑에서 가장 흥미로웠던 부분은 적확한 토큰을 확보하기 위한 세 가지 실제 기법이다. 첫째, 무작위 4글자 두문자어를 생성하여 모델의 연상 능력을 활용하는 방법. 이는 파레이돌리아(의미 없는 패턴에서 의미를 찾는 인간의 능력)를 모델에 적용한 것이다. 모델은 강력한 연상 능력을 가지고 있지만 적절한 토큰이 입력되어야 그 능력이 발휘된다. 둘째, arXiv 논문의 초록을 무작위로 가져와 그 안의 전문 용어들을 프롬프트에 주입하는 방법. 연구자도 모르는 낯선 용어들끼리 모델이 가교를 맺게 함으로써 창의적인 가설 생성에 도움을 준다. 셋째, A-Z 인물 소환 기법. 알파벳 순으로 전문가 이름을 떠올리게 한 후 “피상적이다”는 피드백을 주어 더 깊은 인물들을 소환하게 하는 2단계 접근법. 이 모든 기법의 공통점은 “모델이 이미 알고 있지만 현재 컨텍스트에서는 활성화되지 않은 지식을 끌어내는 것”이다. 즉, 프롬프팅은 모델의 latent knowledge에 적절한 트리거를 제공하는 작업이다.
근거
“약간 무작위적인 알파벳을 뭐 4개를 생성하는 걸 한 세트로 해서 그걸 100세트를 생성하고 그거를 두문자어로 읽어 보라는 거예요. … 모델의 연상 능력을 좀 끌어다 쓰는 시도” “1월 제출물 중 임의의 10편. 그러면 이것을 초록만 읽는 상황이었을 거거든요. 근데 초록만 읽어도 거기에 전문적인 용어들이 있을 거 아니에요.”
연결된 생각
- 20260606-precise-token-priming — 개념의 확장
- 20260606-understand-model-to-help — 모델 이해의 실천적 예시
출처
- 📎 클리핑: 20260613-ep82-ko-transcript