Mixture of Experts (인공지능) 편집하기 (부분)

==구조==
*'''전문가(Expert)'''
**특정 부분 문제를 해결하도록 학습된 개별 모델. 보통 신경망이 사용된다.
*'''게이트(Gate) 또는 라우터(Router)'''
**입력을 받아 각 전문가의 가중치 또는 선택 결과를 산출하는 모듈.
**소프트맥스 함수 등을 사용하여 확률 분포 형태로 출력하거나, 소수의 전문가만 활성화하는 스파스 방식으로 동작할 수 있다.
*'''출력 결합'''
**전문가들의 출력을 게이트/라우터가 부여한 가중치로 합산하거나 선택하여 최종 출력을 만든다.