스케일링 법칙 (인공지능)

Neural scaling law; 스케일링 법칙

신경망의 성능(손실)이 모델 크기, 학습 데이터 양, 연산량에 따라 거듭제곱 꼴로 예측 가능하게 변한다는 경험 법칙

스케일링 법칙(scaling law)은 신경망 모델의 매개변수 수 $N$, 학습 데이터 양 $D$, 학습 연산량 $C$를 늘릴 때 시험 손실 $L$이 어떻게 줄어드는지를 나타낸 경험식이다. 대개 $L\propto x^{-\alpha }$ 같은 거듭제곱 법칙(power law)을 따르며, 로그-로그 그래프에서 직선으로 보인다. 물리 법칙처럼 증명된 것이 아니라 실험 데이터에 곡선을 맞춘 것이어서 "법칙"이라는 이름에도 불구하고 가설에 가깝다.

스케일링 법칙은 대형 언어 모델 개발의 나침반 역할을 했다. 작은 모델 여러 개를 학습해 곡선을 그리면, 수백 배 큰 모델을 실제로 학습하기 전에 그 성능을 예측하고, 주어진 예산을 모델 크기와 데이터에 어떻게 나눌지 정할 수 있다. 2020년 OpenAI의 캐플런(Kaplan) 법칙이 GPT-3 같은 초대형 모델 경쟁을 뒷받침했고, 2022년 딥마인드의 친칠라(Chinchilla) 법칙이 "데이터를 더 많이"로 방향을 바꾸었으며, 2024년 이후에는 학습이 아니라 추론 시점의 연산을 늘리는 테스트 시간 스케일링이 새 축으로 더해졌다.

기본 형태

스케일링 법칙에서 다루는 변수는 다음 네 가지다.

• $N$: 모델의 매개변수 수. 전문가 혼합 같은 희소 모델은 토큰당 활성 매개변수와 전체 매개변수를 구분해야 한다.
• $D$: 학습에 쓴 토큰 수.
• $C$: 학습 연산량(FLOP). 트랜스포머에서는 대략 $C\approx 6ND$로 근사한다. 토큰 하나당 순전파에 약 $2N$, 역전파에 약 $4N$ 연산이 들기 때문이다.
• $L$: 시험 데이터에 대한 교차 엔트로피 손실(로그 퍼플렉시티).

손실은 줄일 수 없는 하한 $E$(데이터 자체의 엔트로피)와, 모델 크기와 데이터 부족에서 오는 항의 합으로 쓰는 경우가 많다.

$L(N,D)=E+\frac{A}{N^{\alpha }}+\frac{B}{D^{\beta }}$

거듭제곱 법칙이므로 손실을 일정량 줄이려면 자원을 일정 배수로 늘려야 한다. 곧 성능 향상은 자원 증가에 비해 점점 비싸진다.

역사

초기 연구

2017년 바이두의 헤스트니스(Hestness) 등은 기계 번역, 언어 모델, 이미지 분류, 음성 인식에서 학습 데이터 양에 따른 오차가 거듭제곱 법칙을 따르며, 구조나 최적화 기법을 바꾸어도 지수는 거의 변하지 않고 비례 상수만 바뀐다고 보고했다.

캐플런 스케일링(2020년)

2020년 1월 OpenAI의 재러드 캐플런(Jared Kaplan) 등은 트랜스포머 언어 모델의 손실이 모델 크기, 데이터 양, 연산량 각각에 대해 7자릿수 이상의 범위에서 거듭제곱 법칙을 따른다고 발표했다. 주요 결과는 다음과 같다.

• 다른 두 요소가 병목이 아닐 때 손실은 $L(N)\propto N^{-0.076}$, $L(D)\propto D^{-0.095}$, $L(C)\propto C^{-0.050}$ 꼴로 줄었다.
• 층의 폭이나 깊이 같은 세부 구조는 넓은 범위에서 손실에 거의 영향을 주지 않았다. 중요한 것은 총 매개변수 수였다.
• 큰 모델일수록 표본 효율이 높아, 같은 데이터로 더 많이 배운다.
• 연산 예산이 정해져 있으면, 아주 큰 모델을 비교적 적은 데이터로 학습하고 수렴하기 훨씬 전에 멈추는 것이 최적이었다. 연산을 늘릴 때 늘어난 몫의 대부분을 모델 크기에 쓰라는 결론이다.

같은 해 10월 같은 연구진은 이미지, 영상, 이미지-텍스트, 수학 문제 생성 모델에서도 비슷한 "거듭제곱 + 상수" 꼴의 법칙이 성립함을 보였다. 5월에 발표된 GPT-3(매개변수 1,750억 개)는 이 결론대로 큰 모델을 3,000억 토큰으로 학습한 모델이다. 2023년 OpenAI는 GPT-4가 학습 결과를 사전에 정확히 예측할 수 있었던 첫 대형 모델이라고 밝혔다.

친칠라 스케일링(2022년)

2022년 3월 딥마인드의 조던 호프만(Jordan Hoffmann) 등은 매개변수 7천만~160억 개 모델 400여 개를 50억~5,000억 토큰으로 학습해 연산 최적 비율을 다시 추정했다. 결론은 캐플런 연구와 달랐다.

• 연산 최적 학습에서는 모델 크기와 학습 토큰 수를 같은 비율로 늘려야 한다. 모델을 2배로 키우면 토큰도 2배로 늘려야 한다.
• 당시의 대형 모델들(GPT-3, Gopher 등)은 크기에 비해 데이터를 너무 적게 학습한 "덜 학습된" 상태였다.
• 이를 검증하려고 Gopher(2,800억 개)와 같은 연산량으로 매개변수 700억 개 모델 친칠라를 4배 많은 데이터(약 1.4조 토큰)로 학습했더니, 친칠라가 Gopher, GPT-3 등 훨씬 큰 모델보다 여러 평가에서 앞섰다.

구분	캐플런 등(2020)	호프만 등(2022, 친칠라)
연산 증가분의 배분	대부분을 모델 크기에	모델 크기와 데이터에 절반씩
최적 모델 크기	$N_{opt}\propto C^{0.73}$ 정도	$N_{opt}\propto C^{0.5}$ 정도
최적 데이터 양	$D_{opt}\propto C^{0.27}$ 정도	$D_{opt}\propto C^{0.5}$ 정도
매개변수당 토큰	수 개 수준	약 20개(실무에서 쓰는 어림값)
차이의 원인으로 거론되는 것	작은 모델 위주 실험, 학습률 일정을 모델마다 맞추지 않음	학습 길이에 맞춘 코사인 학습률 일정, 더 큰 모델 범위

친칠라 논문의 매개변수 추정 방법 가운데 하나(손실 함수 직접 맞추기)는 2024년 에포크 AI 연구진의 재현 시도에서 나머지 두 방법과 맞지 않고 신뢰 구간이 지나치게 좁다는 지적을 받았다. 다만 "데이터를 모델 크기에 비례해 늘린다"는 큰 결론은 이후 모델 개발에 그대로 반영되었다.

연산 최적을 넘어서: 과잉 학습

친칠라 비율은 학습 비용만 따진 것이다. 모델을 배포해 수많은 요청을 처리하면 추론 비용이 학습 비용을 넘어설 수 있으므로, 학습에 조금 더 써서라도 작은 모델을 얻는 편이 전체 비용으로는 이득이다. 2023년 말 이를 반영한 스케일링 법칙이 제안되었다. 실제로 2023년 이후 공개 모델은 친칠라 비율의 몇 배에서 수십 배의 데이터로 학습한다. LLaMA는 70억 개 모델을 1조 토큰으로, 라마 3은 약 15조 토큰으로 학습했다.

데이터 고갈 논의

학습 토큰을 모델 크기만큼 늘려야 한다면 결국 데이터가 모자란다. 에포크 AI 연구진은 공개된 사람 작성 텍스트의 총량을 추정하고, 현재 추세가 이어지면 2026~2032년 사이에 LLM 학습 데이터 규모가 그 총량에 이를 것이라고 예측했다. 대응책으로 거론되는 것은 다음과 같다.

• 같은 데이터 반복: 데이터가 제한된 상황에서 같은 데이터를 4에폭까지 반복해도 새 데이터를 쓴 것과 손실 차이가 거의 없었다는 연구가 있다. 그 이상 반복하면 연산을 더 들인 효과가 점점 사라진다.
• 합성 데이터: 강한 모델이 만든 문제와 풀이, 대화로 학습한다. 품질 관리와 모델 붕괴(자기 출력 재학습에 따른 품질 저하) 우려가 따른다.
• 다른 양식: 코드, 이미지, 영상, 음성 데이터를 함께 쓴다.
• 강화 학습과 추론 시간 연산: 정해진 데이터에서 더 많은 연산을 뽑아 쓰는 방향으로, 아래 절에서 다룬다.

테스트 시간 스케일링

학습이 끝난 모델도 추론할 때 연산을 더 쓰면 성능이 오른다. 같은 문제에 답을 여러 번 생성해 다수결을 하거나(자기 일관성), 검증 모델로 가장 좋은 답을 고르거나(best-of-N), 답하기 전에 긴 사고 과정을 생성하게 하는 방식이다.

2024년 8월 구글 딥마인드 등의 연구는 추론 시간 연산을 문제 난이도에 맞게 최적으로 배분하면, 일부 문제에서는 매개변수를 14배 키운 모델보다 나은 결과를 낸다고 보고했다. 2024년 9월 OpenAI는 o1의 성능이 강화 학습에 쓴 연산(학습 시간)과 생각하는 데 쓴 연산(테스트 시간) 모두에 대해 매끄럽게 오른다고 밝혔다. 같은 발표에서 o1은 2024년 AIME 문제에서 한 번 풀면 평균 74%, 64개 답의 다수결로 83%, 1,000개 답을 학습된 점수 함수로 다시 고르면 93%를 맞혔다. 2025년 1월의 s1 연구는 사고를 일찍 끊거나 "Wait"를 덧붙여 더 생각하게 하는 단순한 예산 강제(budget forcing)만으로도 테스트 시간 스케일링을 재현했다.

이로써 스케일링 축은 다음처럼 정리된다.

축	늘리는 것	시기	비용이 드는 시점
사전 학습 스케일링	매개변수, 데이터, 학습 연산	2020년~	학습 1회
사후 학습(강화 학습) 스케일링	강화 학습 단계의 연산과 문제 수	2024년~	학습 1회
테스트 시간 스케일링	질문마다 쓰는 사고 토큰, 샘플 수	2024년~	요청마다

테스트 시간 스케일링은 요청마다 비용이 들고 응답이 느려진다는 점에서 사전 학습 스케일링과 성격이 다르다. 자세한 내용은 추론 모델 (인공지능) 문서 참고.

한계와 비판

• 손실과 능력의 차이: 스케일링 법칙이 예측하는 것은 다음 토큰 예측 손실이다. 실제 작업 정확도는 규모에 따라 S자 곡선을 그리거나 갑자기 오르는 것처럼 보이기도 한다. 이런 "창발"이 평가 지표 선택에서 생긴 착시라는 반론도 있다.
• 역스케일링: 학습 목표나 데이터의 결함 때문에 모델이 커질수록 오히려 성적이 나빠지는 과제도 11개 데이터셋에서 확인되었다.
• 곡선의 꺾임: 단일 거듭제곱 법칙이 넓은 범위에서 맞지 않고 기울기가 바뀌는 경우가 있어, 꺾이는 거듭제곱 법칙(broken neural scaling law) 같은 함수형이 제안되었다.
• 외삽의 위험: 작은 모델로 맞춘 곡선을 수백 배 큰 모델에 적용하는 것은 외삽이다. 데이터 품질, 학습률 일정, 구조 개선은 곡선 자체를 옮긴다.
• 수확 체감과 비용: 거듭제곱 법칙은 손실을 같은 폭으로 줄이는 데 드는 비용이 기하급수로 늘어남을 뜻한다. 반도체, 전력, 데이터센터 투자 규모가 커지면서 경제성과 환경 부담이 함께 논의된다.
• 법칙의 대상: 특정 구조, 데이터 분포, 학습 방법에서 측정한 결과이므로 다른 조건에 그대로 옮겨지지 않는다. 하이퍼파라미터를 작은 모델에서 찾아 큰 모델로 옮기는 μP 같은 기법은 이런 예측을 실무에서 쓸 수 있게 돕는다.

같이 보기

• 대형 언어 모델
• 언어 모델
• 추론 모델 (인공지능)
• GPT-3
• Gopher (언어 모델)
• 전문가 혼합
• 대형 언어 모델 효율화
• 무어의 법칙
• FLOPS