PaLM (언어 모델)
IT 위키
PaLM(Pathways Language Model)은 구글이 개발한 대규모 언어 모델로, 자연어 처리 및 생성, 추론, 번역, 질의응답 등 다양한 작업에서 높은 성능을 보이는 인공지능 언어 모델이다.
개요[편집 | 원본 편집]
PaLM은 구글 리서치가 2022년에 발표한 Pathways 시스템 기반의 대규모 언어 모델로, 5400억 개의 매개변수(parameters)를 가진 버전을 포함하여 다양한 크기로 구성되어 있다. 이 모델은 단일 아키텍처로 다양한 태스크를 처리할 수 있도록 설계되었으며, 학습 과정에서 스패스(sparse) 활성화를 도입한 Pathways 시스템의 효율성을 활용한다.
개발 배경[편집 | 원본 편집]
기존의 언어 모델들은 단일 태스크에 최적화되어 있거나 다수의 모델을 병렬로 운용해야 하는 비효율성이 존재했다. 구글은 이를 해결하기 위해 하나의 모델이 여러 태스크를 처리할 수 있는 멀티태스크 학습과 고효율 분산 학습을 목표로 PaLM을 개발하였다. PaLM은 초거대 모델을 효율적으로 훈련하고 활용하기 위한 Pathways 아키텍처의 대표적인 응용 사례로 제시되었다.
주요 특징[편집 | 원본 편집]
- 초거대 규모: 최대 5400억 개의 파라미터를 보유
- Few-shot 및 Zero-shot 성능 향상: 예시가 적거나 없는 상황에서도 뛰어난 성능을 보임
- 합리적 추론 능력: 수학적 계산이나 논리적 추론이 요구되는 문제에서도 높은 정확도를 기록
- 다국어 처리: 영어 외에도 다양한 언어에 대해 높은 이해 및 생성 능력을 보임
활용 사례[편집 | 원본 편집]
- 코드 생성 및 보완
- 수학 문제 풀이
- 창의적인 글쓰기
- 사용자 질문 응답
- 번역 및 언어 간 변환
한계와 논란[편집 | 원본 편집]
PaLM과 같은 초거대 언어 모델은 높은 성능에도 불구하고 다음과 같은 문제점들이 지적되고 있다.
- 대규모 계산 자원의 요구: 환경적 비용 및 고비용 인프라 문제
- 학습 데이터의 편향성: 차별적이거나 부정확한 정보가 결과물에 반영될 수 있음
- 설명 가능성 부족: 모델의 예측 근거를 사람에게 이해시키기 어려움
같이 보기[편집 | 원본 편집]
참고 문헌[편집 | 원본 편집]
- Chowdhery, A., Narang, S., Devlin, J., et al. (2022). "PaLM: Scaling Language Modeling with Pathways." arXiv preprint arXiv:2204.02311.
