어탠션 (인공지능)

어탠션(Attention, 注意力機構)은 인공지능, 특히 딥러닝 기반의 자연어 처리(NLP)와 컴퓨터 비전 분야에서 중요한 정보를 강조하고 덜 중요한 정보를 줄이는 방식으로, 입력 데이터의 구성 요소들 간 관계를 가중치로 표현하여 처리하는 메커니즘이다. 인간의 주의(attention)처럼 특정 부분에 더 집중하여 효율적인 학습과 추론을 가능하게 한다.

개요

어탠션은 시퀀스 데이터(문장 등)의 각 요소가 다른 요소들과 어떤 관계를 맺는지를 스스로 학습하며, 특히 Transformer 구조에서 핵심 역할을 수행한다. 과거의 순차적인 처리 방식(RNN, LSTM 등)과 달리, 어탠션은 모든 입력을 동시에 처리하면서 관계의 중요도를 학습하여 병렬 처리를 가능하게 한다.

종류

• Bahdanau Attention (Additive Attention): 기계 번역에서 처음 제안된 어탠션 방식
• Luong Attention (Multiplicative Attention): 계산 효율성을 높인 방식
• Self-Attention (자기 어탠션): 입력 시퀀스 내 요소들 간 상호작용을 평가
• Multi-Head Attention: 다양한 의미 공간에서 어탠션을 병렬로 수행

동작 원리

어탠션 메커니즘은 보통 다음과 같은 수학적 절차로 이루어진다:

1. 입력을 Query, Key, Value로 변환
2. Query와 Key의 내적을 통해 각 요소 간 유사도를 계산
3. Softmax를 통해 유사도를 확률 형태로 변환
4. 각 Value에 유사도 확률을 곱하여 가중 평균

이 과정을 통해 중요한 토큰은 높은 가중치로, 덜 중요한 토큰은 낮은 가중치로 반영된다.

활용

• 자연어 처리: 번역, 요약, 문장 분류, 질의응답 등
• 컴퓨터 비전: 이미지 캡셔닝, 객체 탐지, 비전 트랜스포머(ViT)
• 추천 시스템: 사용자-아이템 간 상호작용 가중치 학습
• 시계열 분석 및 음악 생성 등 다양한 딥러닝 태스크

관련 구조

• Transformer (모델): Self-Attention을 중심으로 설계된 아키텍처
• BERT: 양방향 어탠션 기반 사전학습 모델
• GPT: 어탠션 기반 언어 생성 모델

같이 보기

• Transformer (모델)
• 자연어 처리
• Self-Attention
• BERT
• GPT

참고 문헌

• Vaswani, A. et al. (2017). "Attention is All You Need". NeurIPS.
• Bahdanau, D. et al. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473.