정의
데이터베이스의 정밀 탐색(Exact Match)과 대조되는 개념으로, 쿼리(Query)와 키(Key) 사이의 유사도를 확률 분포로 계산하여 여러 밸류(Value)를 가중치에 따라 혼합 추출하는 방식이다. 트랜스포머의 어텐션(Attention)과 피드포워드 신경망(FFN)을 관통하는 핵심 작동 원리다.
핵심 속성
- 비율적 혼합: 단일 값을 선택하는 대신 0.0에서 1.0 사이의 점수를 부여하여 여러 정보를 섞어낸다.
- 연속적 미분 가능성: 불연속적인 ‘선택’이 아닌 연속적인 ‘가중합’이기에 역전파(Backpropagation)를 통한 학습이 가능하다.
- 맥락 의존적 추출: 고정된 인덱스가 아니라 입력된 쿼리의 ‘에너지 레벨’에 따라 추출되는 정보의 조합이 실시간으로 결정된다.
관계
- 20260608-mvk-as-latent-knowledge-key — 연장: 인출을 위한 핵심 키(Key)가 존재해야 소프트 룩업이 유효하게 작동한다.
- 20260608-human-intelligence-as-autoregressive-loop — 하위개념: 인간의 사고 과정 역시 과거 기억에 대한 소프트 룩업의 연속이다.
인용
“어텐션도 결국엔 soft lookup이고, 이후에 나오는 dense layer를 2개 합친 FFN(feed-forward network)도 soft lookup이고, MoE도 soft lookup이 반복되는 그런 느낌이 있습니다. 그래서 하나를 고르는 일이 아니라 비율로 섞는 일이다.”