피드포워드 신경망

피드포워드 신경망(Feed-Forward Neural Network, FFNN)은 입력에서 출력으로 정보가 한 방향으로만 흐르는 인공신경망 구조이다. 순환이나 피드백 연결이 없으며, 가장 기본적인 형태의 신경망으로 분류된다.

개요

피드포워드 신경망은 인공신경망의 가장 단순한 구조로, 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer)으로 구성된다. 각 층은 완전연결층(fully connected layer)으로 연결되며, 비선형 활성화 함수가 적용되어 복잡한 함수를 근사할 수 있다.

구조

• 입력층(Input Layer)
  • 원시 데이터를 받아 들여 은닉층에 전달한다.
• 은닉층(Hidden Layer)
  • 여러 개의 뉴런으로 이루어지며, 가중치와 활성화 함수에 의해 입력을 비선형적으로 변환한다.
  • 은닉층이 여러 층으로 쌓이면 다층 퍼셉트론(MLP, Multi-Layer Perceptron)이라고 한다.
• 출력층(Output Layer)
  • 최종 예측 결과를 출력한다.
  • 분류 문제에서는 소프트맥스(Softmax), 회귀 문제에서는 선형 출력 등이 사용된다.

특징

• 정보가 한 방향으로만 흐르며, 순환 구조가 없어 시간적 의존성을 모델링하기 어렵다.
• 역전파(Backpropagation) 알고리즘을 이용해 가중치를 학습한다.
• 충분한 은닉층과 뉴런 수가 있으면, 임의의 연속 함수를 근사할 수 있다는 보편 근사 정리를 만족한다.

트랜스포머에서의 활용

트랜스포머 블록 내부에는 토큰 단위로 독립적으로 적용되는 위치별 피드포워드 신경망(Position-wise Feed-Forward Neural Network)이 존재한다. 이는 두 개의 선형 변환과 활성화 함수(GELU, ReLU 등)로 구성되며, 각 토큰 표현을 더 복잡하게 변환하는 역할을 한다. 보통 중간 차원(d_ff)은 모델 차원(d_model)의 4배로 설정된다.

응용

피드포워드 신경망은 다양한 딥러닝 모델의 기본 구성 요소로 사용된다.

• 이미지 분류(CNN 뒷부분의 분류기)
• 자연어 처리(트랜스포머 블록 내부)
• 시계열 데이터 분석
• 일반적인 회귀 및 분류 문제

같이 보기

• 다층 퍼셉트론
• 순환 신경망
• 트랜스포머 블록

참고 문헌

• Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
• Vaswani, A. et al. (2017). Attention Is All You Need. NIPS.