연쇄적 사고 프롬프팅

연쇄적 사고 프롬프팅(Chain-of-Thought Prompting)은 대규모 언어 모델이 복잡한 문제를 해결할 때, 답을 도출하기 위한 추론 과정을 명시적으로 유도하는 프롬프트 설계 방식이다.

개요

Chain-of-Thought Prompting(연쇄 사고 프롬팅)은 문제의 정답만을 요구하는 대신, 그에 도달하기 위한 사고의 흐름을 언어 모델이 스스로 기술하도록 유도하는 방식이다. 이 기법은 2022년 구글 브레인(Google Brain) 연구진이 제안하였으며, 수학적 추론, 논리 문제, 설명이 필요한 질의응답 등 복잡한 문제 해결에서 성능을 향상시킨다.

원리

기존의 프롬프트 방식은 문제에 대한 단일 응답을 유도하는 반면, 단계적 사고 프롬프트는 중간 사고 과정을 출력하도록 유도함으로써 모델 내부의 연산 및 추론 구조를 외현화시킨다. 이로 인해 더 일관된, 체계적이고 정확한 응답을 생성할 수 있다.

예시 프롬프트:

Q: 정원에 꽃이 3송이 있고, 각각의 꽃에 나비가 2마리씩 앉아 있다. 정원에는 모두 몇 마리의 나비가 있는가?  
A: 단계적으로 생각해 보자. 꽃은 3송이 있고, 각 꽃에 나비가 2마리씩 있으므로 3 × 2 = 6마리의 나비가 있다. 답은 6이다.

발전 배경

Chain-of-Thought 프롬프트는 기존의 Few-shot 또는 Zero-shot 방식의 한계를 극복하고자 고안되었다. 모델이 정답을 단순히 회상하는 것이 아니라, 문제 해결 과정을 구성하도록 함으로써 논리적 일관성과 추론 능력을 높일 수 있다는 것이 이 방식의 핵심 가설이다.

성능 개선 사례

• 수학 계산: 단순 계산부터 수열, 방정식 등 복잡한 연산에서 성능 향상
• 논리 추론: 조건 추론, 퍼즐, IF-THEN 구조 문제 해결 능력 개선
• 일반 상식 질의응답: 설명 가능한 형태로 답변 제공
• 멀티홉 질의응답(Multi-hop QA): 복수 정보 결합 문제에서 정답률 향상

기법 적용 방식

• Zero-shot Chain-of-Thought: 프롬프트에 "Let's think step by step."과 같은 단서를 포함
• Few-shot Chain-of-Thought: 몇 가지 사고 과정을 포함한 예시들을 제시한 후 새로운 문제를 입력
• Fine-tuning 기반 적용: 훈련 데이터 자체에 추론 과정을 포함해 모델 학습

장점

• 정답률 향상: 복잡한 문제일수록 성능 차이가 크게 나타남
• 설명 가능성 증대: 응답의 사고 경로가 드러나 해석이 용이함
• 범용성: 다양한 태스크에 적용 가능하며 인간 유사한 추론 구현 가능

한계

• 응답 속도 및 비용 증가: 출력이 길어지면서 계산 자원이 더 필요함
• 실패 시 오류도 명확히 드러남: 논리적으로 틀린 사고 흐름이 그대로 출력됨
• 프롬프트 설계 민감성: 사고 유도를 위한 문구나 예시 구성에 따라 성능 편차 존재

같이 보기

• 단계적 사고 프롬프트
• 자기-질문 프롬프트
• 대규모 언어 모델
• GPT-4
• InstructGPT

참고 문헌

• Wei, J., Wang, X., Schuurmans, D., et al. (2022). "Chain of Thought Prompting Elicits Reasoning in Large Language Models." arXiv preprint arXiv:2201.11903.