ROUGE

ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 기계가 만든 요약이나 생성문을 사람이 쓴 참조문과 비교해, 겹치는 n-gram 이나 가장 긴 공통 단어열이 얼마나 되는지로 품질을 자동 채점하는 평가 지표 묶음이다.

개요

ROUGE 는 2004년 Chin-Yew Lin 이 자동 요약 평가용으로 발표했다. 이름 그대로 재현율(recall) 중심으로 출발해, 참조 요약에 있는 내용을 생성 요약이 얼마나 되살렸는지를 센다. 지금은 정밀도와 재현율을 함께 계산해 F 값으로 보고하는 것이 일반적이며, 요약뿐 아니라 대형 언어 모델의 생성 답변을 정답 문장과 비교하는 데에도 쓰인다.

주요 변형

지표	무엇을 세는가	특징
ROUGE-N	참조문과 생성문에 함께 나오는 n-gram(ROUGE-1 은 단어, ROUGE-2 는 연속 두 단어)	단어 선택이 맞는지 본다
ROUGE-L	두 문장의 최장 공통 부분 수열(LCS)의 길이	단어가 연속하지 않아도 순서만 같으면 일치로 친다. 문장 구조의 유사성을 반영한다
ROUGE-W	연속해서 일치한 구간에 가중치를 준 LCS	띄엄띄엄 맞은 것보다 붙어서 맞은 것을 높이 친다
ROUGE-S	순서를 지킨 단어 쌍(skip-bigram)	사이에 다른 단어가 끼어도 쌍으로 센다

Google Research 가 공개한 파이썬 구현도 ROUGE-N 과 ROUGE-L(LCS) 계산, 텍스트 정규화, 부트스트랩 신뢰구간, 포터 어간 추출을 기본 기능으로 둔다.

ROUGE-L 계산

참조문 길이를 m, 생성문 길이를 n, 둘의 최장 공통 부분 수열 길이를 LCS 라 하면

• 재현율 R = LCS / m
• 정밀도 P = LCS / n
• F = (1 + β²) × R × P / (R + β² × P)

예를 들어 참조문 "고양이가 매트 위에 앉았다"(4단어)와 생성문 "고양이가 조용히 매트 위에 앉았다"(5단어)의 LCS 는 "고양이가 매트 위에 앉았다" 4단어이다. R = 4/4 = 1, P = 4/5 = 0.8 이고 β = 1 이면 F ≈ 0.89 이다.

평가 지표와 구별하기

ROUGE 는 "가장 긴 일치 단어열" 같은 문자열 겹침을 재는 생성 평가 지표이다. 분류·탐지 모델의 지표와는 재는 대상이 다르다.

지표	대상 과제	재는 것
ROUGE-L	요약·생성	참조문과의 최장 공통 단어열
BLEU	기계 번역	생성문 n-gram 이 참조문에 있는 비율(정밀도 중심)과 짧은 문장 벌점
정확도(Accuracy)	분류	전체 중 올바르게 분류한 비율
mAP	객체 검출	클래스별 검출 정밀도-재현율 곡선 면적의 평균

ROUGE 는 단어가 같은지만 보기 때문에, 뜻이 같은 다른 표현(동의어, 바꿔 쓴 문장)을 낮게 채점하는 한계가 있다. 그래서 생성형 모델 평가에서는 의미 기반 지표나 사람 평가를 함께 쓴다.

같이 보기

• 자연어 처리
• 기계 번역
• 최장 공통 부분 수열
• 대형 언어 모델
• 인공지능 학습용 데이터 품질관리