Medusa (인공지능) 편집하기 (부분)

==Medusa와 [[추측 디코딩]]의 차이==
Medusa와 기존 추측 디코딩(speculative decoding)은 모두 토큰 생성 속도를 높이기 위한 기법이지만, 설계 철학과 구조적 접근 방식에서 명확한 차이를 가진다.
===구조적 차이===
*기존 추측 디코딩
**별도의 드래프트 모델이 필요하다.
**드래프트 모델이 후보 토큰을 생성하고, 메인 모델이 이를 검증한다.
** 두 모델 간 상호작용을 기반으로 한 이원 구조를 가진다.*Medusa
**메인 모델 내부에 여러 디코딩 헤드를 추가한다.
** 하나의 모델이 병렬 예측과 검증을 동시에 수행한다.
**트리 기반 검증 구조를 사용하며 별도 모델이 필요 없다.
===결과적 차이===
*기존 방식은 두 모델을 관리해야 하므로 구현 복잡성과 인프라 요구량이 증가한다.
*Medusa는 단일 모델 확장 방식이므로 구조가 단순하고 적용 비용이 낮다.
*두 방식 모두 속도 향상을 목표로 하지만 접근 방식이 크게 다르기 때문에 Medusa는 전통적 speculative decoding의 변형이자 대안으로 평가된다.