MMLU

Massive Multitask Language Understanding, MMLU; MMLU

초등 수학부터 법학·의학까지 57개 과목의 4지선다 문제로 언어 모델의 폭넓은 지식과 문제 해결 능력을 재는 벤치마크

MMLU(Massive Multitask Language Understanding)는 2020년 9월 UC 버클리의 댄 헨드릭스(Dan Hendrycks) 등이 발표하고 ICLR 2021에 실린 언어 모델 평가용 벤치마크 데이터셋이다. 당시 GLUE·SuperGLUE 같은 자연어 이해 벤치마크가 몇 년 만에 사람 수준에 도달하자, 사전 학습에서 얻은 지식 자체를 폭넓게 묻는 시험으로 만들었다. GPT-3부터 GPT-4, 제미나이까지 대형 언어 모델의 기술 보고서가 지식 수준을 보이는 점수로 내세웠고, 최상위 모델 점수가 원 논문의 전문가 추정치에 다가가면서 변별력이 떨어졌다는 지적과 함께 MMLU-Pro 같은 후속 벤치마크가 나왔다.

구성

• 과목: 인문학, 사회과학, STEM(과학·기술·공학·수학), 기타의 4개 범주에 걸친 57개 과목. 초등 수학, 미국사, 컴퓨터 과학, 법학, 도덕 문제, 전문 의학 등이 있고 난도는 초등부터 전문가 수준까지다.
• 출처: 미국 대학원 입학시험(GRE), 미국 의사 면허 시험(USMLE), 심리학 전문 자격시험(EPPP) 연습 문제처럼 온라인에 무료로 공개된 문제를 대학원생과 학부생이 손으로 모았다. 과목 이름의 "High School", "College", "Professional"은 난도를 나타낸다.
• 규모: 총 15,908문항. 과목마다 5문항의 퓨샷 예시용 개발 세트(합계 285문항), 하이퍼파라미터 선택용 검증 세트 1,540문항, 시험 세트 14,079문항으로 나뉜다. 시험 세트는 과목당 최소 100문항이다.
• 형식: 모든 문항이 보기 4개 중 하나를 고르는 객관식이고, 무작위로 찍으면 25%다.

원 논문은 아마존 메커니컬 터크의 비전문가가 34.5%를 맞혔고, 각 시험 응시자의 상위 5% 정확도로 추정한 전문가 수준은 약 89.8%라고 보았다. 당시 1,750억 매개변수의 GPT-3는 퓨샷으로 43.9%를 기록해 무작위보다 20%포인트 가까이 높았지만, 도덕·법처럼 사회적으로 중요한 과목에서는 여전히 무작위에 가까웠다.

평가 방식

표준은 5-shot 평가다. 같은 과목 개발 세트 5문항을 정답과 함께 앞에 붙이고, 마지막 문제의 "Answer:" 뒤에서 모델이 어떤 보기를 고르는지 본다. 고르는 방법은 두 가지가 있다.

• 로짓 비교: 다음 토큰 " A", " B", " C", " D"의 로짓 중 가장 큰 것을 답으로 본다. 생성 없이 한 번의 순전파로 끝나 기본 모델 평가에 쓰인다.
• 생성 후 파싱: 모델이 답을 자유롭게 쓰게 하고 정답 글자를 추출한다. 채팅 모델과 사고의 사슬(chain-of-thought) 프롬프트를 쓸 때 필요하다.

같은 모델이라도 두 방식, 프롬프트 문구, 보기 표기, 퓨샷 개수에 따라 점수가 몇 %포인트씩 달라진다. MMLU-Pro 논문은 프롬프트 스타일 24가지에서 MMLU 점수가 4~5% 흔들렸다고 보고했다. 발표된 점수를 비교할 때는 이 조건을 함께 봐야 한다.

아래는 Hugging Face의 cais/mmlu 데이터셋으로 로짓 비교 5-shot 평가를 하는 최소 예다(datasets 3.2, transformers 4.49에서 실행 확인).

import torch
from datasets import load_dataset
from transformers import AutoModelForCausalLM, AutoTokenizer

subject = "high_school_computer_science"
dev  = load_dataset("cais/mmlu", subject, split="dev")     # 과목별 퓨샷 예시 5문항
test = load_dataset("cais/mmlu", subject, split="test")
LETTERS = ["A", "B", "C", "D"]

def fmt(ex, with_answer):
    s = ex["question"].strip() + "\n"
    s += "".join(f"{L}. {c}\n" for L, c in zip(LETTERS, ex["choices"]))
    s += "Answer:" + (f" {LETTERS[ex['answer']]}\n\n" if with_answer else "")
    return s

header = f"The following are multiple choice questions (with answers) about {subject.replace('_', ' ')}.\n\n"
shots = "".join(fmt(ex, True) for ex in dev)

tok = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2").eval()
letter_ids = [tok.encode(" " + L)[0] for L in LETTERS]

correct = 0
for ex in test:
    ids = tok(header + shots + fmt(ex, False), return_tensors="pt").input_ids[:, -1024:]
    with torch.no_grad():
        logits = model(ids).logits[0, -1]
    pred = int(torch.argmax(logits[letter_ids]))           # 보기 글자 넷의 로짓만 비교
    correct += pred == ex["answer"]
print(correct / len(test))

GPT-2 small(124M)로 돌리면 이 과목 100문항에서 0.26이 나와 무작위 수준이다. 실제 평가에서는 EleutherAI lm-evaluation-harness나 OpenAI simple-evals 같은 도구를 써서 프롬프트와 채점 방식을 고정한다.

점수 변천

시기	모델	점수	비고
2020-09	무작위	25%
2020-09	비전문가(메커니컬 터크)	34.5%	원 논문
2020-09	GPT-3 175B	43.9%	퓨샷, 원 논문
2023-03	GPT-4	86.4%	5-shot, 기술 보고서
2023-12	구글 제미나이 울트라	인간 전문가 수준 첫 돌파 발표	기술 보고서
추정	전문가 수준	약 89.8%	원 논문 추정치

MMLU-Pro 논문은 GPT-4o와 GPT-4-Turbo의 차이가 MMLU에서는 1%포인트에 불과하지만 MMLU-Pro에서는 9%포인트로 벌어진다며, 최상위 모델 사이를 MMLU가 더는 가르지 못한다고 지적했다.

문제점

정답 오류

2024년 에든버러 대학교 등의 연구진은 〈Are We Done with MMLU?〉에서 MMLU 57개 과목 5,700문항을 다시 검수한 MMLU-Redux를 만들었다. 바이러스학 과목은 분석한 문항의 57%에 오류가 있었고, 전체 MMLU 문항의 약 6.49%에 오류가 있다고 추정했다. 오류 유형에는 정답 표기가 틀린 경우, 정답이 여러 개이거나 없는 경우, 문제나 보기가 불명확한 경우가 있었다. 고친 문항으로 다시 채점하면 원래 보고된 모델 성능과 상당한 차이가 났다. 오류 문항이 이 정도 섞여 있으면 90%대 점수 사이의 작은 차이는 모델 능력 차이로 해석하기 어렵다.

포화와 오염

문항이 2020년부터 공개되어 있어 웹을 긁어 만든 학습 데이터에 섞여 들어갈 수 있다. GPT-4 기술 보고서는 50자 부분 문자열 일치로 확인한 MMLU 오염률을 약 0.6%로 보고했다. 오염 탐지와 대응은 벤치마크 오염 문서 참고.

문화 편향

MMLU는 미국 시험에서 온 문항이 많다. Cohere 등은 MMLU 문항의 28%가 문화적 맥락 지식을 요구하고, 지리 지식 문항의 84.9%가 북미나 유럽에 관한 것이라고 분석했다. 단순히 번역한 MMLU로 다국어 능력을 재면 서구 지식 비중 때문에 순위가 왜곡될 수 있다는 것이다.

변형과 후속 벤치마크

이름	발표	규모	특징
MMLU-Pro	워털루 대학교 등, 2024-06	14개 분야 12,032문항	보기 10개, 쉬운·잡음 문항 제거와 추론형 문항 추가. MMLU 대비 정확도 16~33%포인트 하락, 프롬프트 민감도 2%로 감소, 사고의 사슬이 점수를 올림. 발표 당시 최고는 GPT-4o 72.6%
MMLU-Redux	2024-06	5,700문항 재검수	오류 유형 표시. 이후 MMLU-Redux 2.0으로 확장
MMMLU	OpenAI, 2024-09	시험 세트 × 14개 언어	전문 번역가가 시험 세트를 한국어, 일본어, 아랍어, 스와힐리어, 요루바어 등 14개 언어로 번역. MIT 라이선스
Global-MMLU	Cohere 등, 2024-12	42개 언어	번역 품질 개선, 문화 민감 문항과 무관 문항을 구분해 따로 채점
CMMLU	2023-06	중국어	중국 맥락 과목 포함. 발표 당시 대부분의 모델이 평균 50% 미만
KMMLU	2024-02	45개 과목 시험 35,030문항	한국어 원문 시험 문제(아래 절)
KMMLU-Redux, KMMLU-Pro	LG AI연구원·원라인AI, 2025-07	2,587문항, 2,822문항	아래 절

한국어 벤치마크

KMMLU는 MMLU를 번역하지 않고 한국 시험에서 직접 모은 한국어 벤치마크다. 연세대학교, EleutherAI, 원라인AI, 엔씨소프트, 네이버 클라우드, KAIST 등의 연구자가 2024년 2월 발표했다.

• 공직적격성평가(PSAT), 국가 자격시험, 대학수학능력시험 등 533개 출처에서 37만 1,002문항을 자동 수집하고, 중복·파싱 오류를 걸러 243,777문항을 남겼다. 이 가운데 시험 세트 35,030문항(45개 과목, 과목당 최소 100문항), 학습 세트 208,522문항, 퓨샷 예시용 225문항으로 나눴다.
• 범주는 인문사회(HUMSS), STEM, 응용과학(항공정비, 가스, 비파괴검사 등 산업 분야), 기타다. 법·제도·지역 문화 지식이 필요한 문항이 들어 있어 번역판 MMLU가 재지 못하는 부분을 잰다.
• 원 시험 응시자의 평균 정답률이 자료가 있는 약 90%의 시험에서 62.6%였고, 대부분의 자격시험 합격선이 80%라서 80%를 넘으면 최소한의 전문가 수준으로 볼 수 있다고 했다.
• 발표 당시 27개 모델 중 최고는 GPT-4의 59.95%였고, 한국어 특화 모델인 네이버 하이퍼클로바 X도 60%를 넘지 못했다. 한국사 과목에서는 GPT-4가 35%, 하이퍼클로바 X가 44%였다.
• 네 모델(GPT-3.5 터보, 제미나이 프로, 하이퍼클로바 X, GPT-4) 중 하나라도 틀린 4,104문항을 모은 KMMLU-Hard도 함께 냈다.

KMMLU-Redux와 KMMLU-Pro는 2025년 7월 LG AI연구원과 원라인AI 연구진이 발표했다. KMMLU-Redux는 KMMLU 가운데 국가기술자격 시험 문항에서 심각한 오류를 걷어 낸 2,587문항이고, KMMLU-Pro는 14개 국가 전문 자격(면허) 시험에서 가져온 2,822문항이다. KMMLU-Pro는 과목별 40% 이상·평균 60% 이상이라는 실제 합격 기준으로도 채점해, 발표 당시 평가한 모델 중 "Claude 3.7 Sonnet(Thinking)"이 14개 시험 중 12개에 합격해 가장 많았다. 앞서 본 OpenAI MMMLU에도 한국어(KO_KR) 번역판이 들어 있다.

같이 보기

• 벤치마크 데이터셋
• 벤치마크 오염
• SWE-bench
• 퍼플렉시티
• 언어 모델
• 대형 언어 모델
• GLUE 벤치마크

참고 문헌

• MMLU 원 저장소
• cais/mmlu (Hugging Face)