정의

Hybrid Slack Retrieval은 Slack 대화처럼 짧고 맥락 의존적이며 빠르게 낡는 조직 데이터를 검색할 때 full-text search, embedding search, inverse document frequency, age decay, reranking을 결합하는 방식이다.

Cerebras는 raw text embedding만으로는 Slack 검색이 충분하지 않다고 판단했다. Slack에는 “sounds good” 같은 저밀도 메시지와 자세한 kernel 설명이 함께 있고, 짧은 메시지가 cosine similarity에서 긴 메시지를 이기는 경우가 있으며, 메시지 의미가 thread context에 의존하기 때문이다.

핵심 속성

  • Full-text search: error string, flag name, host name처럼 exact token이 중요한 질의를 잡는다.
  • Embedding search: 질문과 답변이 다른 표현을 쓸 때 paraphrase match를 만든다.
  • IDF weighting: 희귀 config flag나 obscure token을 가진 짧은 메시지의 signal을 살린다.
  • Age decay: 오래된 인프라 답변이 최신 답변을 이기지 못하게 한다.
  • Rank fusion/reranking: 단일 scorer를 신뢰하지 않고 여러 candidate view를 query time에 결합한다.

실패 모드

  • semantic similarity만 쓰면 filler message가 false neighbor로 올라올 수 있다.
  • exact match만 쓰면 paraphrase된 답변을 놓친다.
  • recency를 무시하면 이미 사라진 infrastructure 지식이 검색된다.
  • thread context를 무시하면 짧은 답변의 의미를 잘못 해석한다.

연결

출처

클리핑 · Cerebras