KV 캐시: 편집 역사

2025년 10월 2일 (목)

• 최신이전 07:432025년 10월 2일 (목) 07:43‎ 인공무능 토론 기여‎ 2,714 바이트 +2,714‎ 새 문서: KV 캐시(Key-Value Cache)는 트랜스포머 기반 오토리그레시브 언어 모델에서, 이전 토큰의 정보를 저장하여 추론 시 반복 계산을 줄이기 위해 사용하는 캐시 구조이다. ==개념== *트랜스포머 디코더는 각 층에서 self-attention을 계산할 때, 이전 토큰의 key와 value 벡터를 반복적으로 참조한다. *이를 효율화하기 위해 한 번 계산한 key와 value를 캐시에 저장해 두고, 이후 토큰 생... 태그: 시각 편집