|
|
| 1번째 줄: |
1번째 줄: |
| 셀프 어탠션(Self-Attention)은 딥러닝에서 입력 시퀀스의 각 요소가 동일 시퀀스 내 다른 요소들과 어떤 관계를 갖는지를 스스로 학습하는 어탠션(Attention) 메커니즘의 한 종류이다. 문장 내 단어들 간 상호 연관성을 반영하여 문맥 정보를 효과적으로 포착할 수 있게 하며, 트랜스포머(Transformer) 구조의 핵심 구성 요소이다.
| | #넘겨주기 [[셀프 어텐션]] |
| ==개요==
| |
| 셀프 어탠션은 주어진 입력 시퀀스 전체를 한 번에 고려하여 각 토큰 간 상호작용을 계산한다. 이를 통해 순차적 처리 방식(RNN 등) 없이도 각 위치의 토큰이 문맥 내 다른 모든 토큰과 정보를 주고받을 수 있다. 트랜스포머의 인코더와 디코더 내부의 어탠션 계층은 모두 셀프 어탠션으로 구성되어 있으며, 자연어 처리, 컴퓨터 비전 등 다양한 분야에서 활용된다.
| |
| ==동작 방식==
| |
| 셀프 어탠션은 입력 시퀀스의 각 토큰을 Query, Key, Value라는 세 가지 벡터로 변환한 뒤, Query와 Key 사이의 유사도를 계산하여 Softmax 함수를 통해 가중치(중요도)를 구한다. 이 가중치를 Value 벡터에 곱한 후 합산하면, 문맥을 반영한 새로운 토큰 표현이 생성된다.
| |
| | |
| 이 과정을 통해 각 단어는 문장 내 다른 단어들과의 의미적 관계를 반영한 벡터로 표현된다.
| |
| ==어탠션과의 차이==
| |
| 셀프 어탠션은 어탠션 메커니즘의 하위 개념으로, 입력과 참조 대상이 동일한 경우를 의미한다. 반면, 일반적인 어탠션은 질문(Query)과 문서(Key, Value)처럼 서로 다른 두 시퀀스 간의 연관성을 계산할 수 있다.
| |
| ==특징==
| |
| *병렬 연산이 가능하여 학습 속도가 빠름
| |
| *문장 내 장거리 의존성(long-range dependency)을 효과적으로 학습
| |
| *시각화를 통해 모델이 주목하는 단어를 해석할 수 있음
| |
| *다양한 입력 형식(텍스트, 이미지 등)에 적용 가능
| |
| ==활용==
| |
| *트랜스포머 기반 언어 모델(BERT, GPT 등)의 핵심 연산
| |
| *기계 번역, 요약, 질의응답, 문장 분류 등의 NLP 작업
| |
| *비전 트랜스포머(ViT)를 통한 이미지 분석
| |
| *멀티모달 모델에서 텍스트와 이미지 간 상호작용 학습
| |
| ==같이 보기==
| |
| *[[어탠션 (인공지능)]]
| |
| *[[트랜스포머 (인공지능)]]
| |
| *[[BERT]]
| |
| *[[GPT]]
| |
| *[[자연어 처리]]
| |
| ==참고 문헌==
| |
| *Vaswani, A. et al. (2017). "Attention is All You Need". NeurIPS 2017.
| |
| ==각주==
| |
| [[분류:인공지능]]
| |
