정의
트랜스포머는 자연어 처리(NLP)에서 사용되는 인공지능 모델로, Attention 기반의 아키텍처를 통해 문맥을 효과적으로 활용한다.
핵심 속성
- 입력: 토큰 시퀀스 (토큰은 단어 또는 서브워드)
- 출력: 생성된 토큰 시퀀스
- 핵심 컴포넌트:
- Embedding Layer: 토큰을 벡터로 변환
- Attention Block: 문맥 상호작용 학습
- Feed-forward Network (FFN): 비선형 특성 추출
관계
- attention-mechanism — 상위개념
- multi-head-attention — 하위개념
- feed-forward-network — 하위개념
인용
트랜스포머는 토큰이 겪는 여행을 통해 문맥을 이해한다.