Mixture of Experts (인공지능)

Mixture of Experts(줄여서 MoE)는 여러 개의 전문가 모델(expert model)과 게이트(gating) 또는 라우터(router) 메커니즘을 결합하여 입력에 따라 적절한 전문가를 선택하거나 가중합하여 출력을 내는 기계학습 기법이다. 주로 딥러닝에서 모델의 효율적 확장과 성능 향상을 위해 사용된다.

개요

Mixture of Experts는 입력 공간을 분할하여 각 부분에 대해 특화된 모델이 학습되도록 하고, 게이트 네트워크(또는 라우터)가 입력에 따라 어떤 전문가의 출력을 사용할지를 결정한다. 이를 통해 하나의 복잡한 모델 대신 여러 개의 단순한 전문가 모델을 결합하여 높은 표현력을 얻을 수 있다.

구조

• 전문가(Expert)
  • 특정 부분 문제를 해결하도록 학습된 개별 모델. 보통 신경망이 사용된다.
• 게이트(Gate) 또는 라우터(Router)
  • 입력을 받아 각 전문가의 가중치 또는 선택 결과를 산출하는 모듈.
  • 소프트맥스 함수 등을 사용하여 확률 분포 형태로 출력하거나, 소수의 전문가만 활성화하는 스파스 방식으로 동작할 수 있다.
• 출력 결합
  • 전문가들의 출력을 게이트/라우터가 부여한 가중치로 합산하거나 선택하여 최종 출력을 만든다.

학습

학습 과정에서 게이트(라우터)와 전문가 모델은 동시에 최적화된다. 보통 경사하강법과 역전파가 사용되며, 게이트는 입력 분배를, 전문가는 해당 입력에 대한 적합한 출력을 학습한다.

변형

• 하드 게이팅(hard gating)
  • 하나의 전문가만을 선택하여 출력을 사용하는 방식.
• 소프트 게이팅(soft gating)
  • 여러 전문가 출력을 가중합하여 사용하는 방식.
• 스파스 MoE(Sparse Mixture of Experts)
  • 모든 전문가를 사용하는 대신 소수만 활성화하여 계산 효율을 높이는 방식. 대규모 언어 모델에서 널리 사용된다.

응용

• 대규모 언어 모델(LLM)에서 파라미터 수를 늘리면서도 계산 효율을 유지하기 위해 사용된다.
• 컴퓨터 비전, 음성 인식 등 복잡한 입력 분포를 가진 분야에서 효과적이다.
• 멀티태스크 학습에서 서로 다른 작업에 특화된 전문가를 학습시키는 데 활용된다.

같이 보기

• 딥러닝
• 신경망
• 자연어 처리
• 텐서 (인공지능)

참고 문헌

• Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive mixtures of local experts. Neural Computation, 3(1), 79-87.
• Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv:1701.06538.