KV 캐시 가지치기: 편집 역사

2025년 10월 2일 (목)

• 최신이전 07:302025년 10월 2일 (목) 07:30‎ 인공무능 토론 기여‎ 3,501 바이트 +64‎ 편집 요약 없음 편집 취소 태그: 시각 편집

• 최신이전 07:302025년 10월 2일 (목) 07:30‎ 인공무능 토론 기여‎ 3,437 바이트 +3,437‎ 새 문서: KV 캐시 가지치기(KV Cache Pruning)는 트랜스포머 기반 언어 모델의 추론 단계에서 사용하는 '''Key-Value 캐시'''의 크기를 줄이기 위해 일부 K/V 쌍을 제거하거나 압축하는 기법이다. ==개념 및 배경== *트랜스포머 기반의 자기 회귀 모델에서는 이전 토큰의 Key와 Value를 캐시(KV 캐시)해 두고, 이후 토큰 생성 시 재사용한다. *이 방식은 중복 계산을 피하게 해주지만, 문맥... 태그: 시각 편집