딥 러닝 프레임워크
딥 러닝 프레임워크(Deep Learning Frameworks)는 인공 신경망 모델을 정의하고 학습하며 배포하기 위한 소프트웨어 도구와 라이브러리의 집합이다. 이러한 프레임워크는 자동 미분(autograd), 텐서 연산, GPU 가속, 모델 구조화, 데이터 파이프라인 구성 등 복잡한 과정을 추상화하여 연구자와 개발자가 효율적으로 딥러닝 모델을 개발할 수 있도록 돕는다.
딥러닝 프레임워크는 크게 그래프 모드(Graph Mode)와 이거 모드(Eager Mode)로 구분된다.
개요
딥러닝 프레임워크는 수학적 연산을 텐서 기반의 API로 제공하며, 학습 시 필요한 역전파(backpropagation), 옵티마이저, 손실 함수 등을 포함한다. 최근에는 컴파일러 기술, 그래프 최적화, 하드웨어 가속기 지원 등이 결합되면서 고성능 모델 학습 및 추론 환경을 제공한다.
실행 방식에 따른 분류
그래프 모드(Graph Mode)
그래프 모드는 정적 계산 그래프(static computation graph)를 먼저 정의한 뒤, 전체 그래프를 실행하는 방식이다.
- 특징
- 모델 구조를 먼저 그래프로 컴파일한 뒤 실행
- 최적화 및 배포에 유리
- 그래프 기반 분석 및 최적화 가능
- 디버깅은 상대적으로 어려울 수 있음
- 대표 프레임워크
- TensorFlow (초기 버전)
- Theano
- Caffe
이거 모드(Eager Mode)
이거 모드는 파이썬 코드가 실행되는 즉시 연산이 수행되는 동적 동작 방식이다.
- 특징
- 직관적인 파이썬 스타일 코드 작성
- 실행 즉시 결과가 나오므로 디버깅 용이
- 학습 개발 속도가 빠름
- 최근에는 그래프 변환 및 컴파일 기능(TorchDynamo 등)으로 성능을 보완
- 대표 프레임워크
- PyTorch
- Chainer
주요 딥러닝 프레임워크 목록
PyTorch
페이스북 AI Research(FAIR)에서 개발한 딥러닝 프레임워크로, 동적 그래프 기반 구조와 쉬운 디버깅이 장점이다. 연구자들에게 특히 인기가 높으며, PyTorch 2.0부터는 TorchDynamo, TorchInductor 등을 통한 컴파일 기능이 강화되었다.
TensorFlow
Google Brain에서 개발한 프레임워크로, 초기에는 정적 그래프 기반이었으나 TensorFlow 2.x에서 eager execution을 기본으로 채택하였다. 모바일 및 배포 생태계(TF Lite, TF Serving)가 잘 갖춰져 있다.
Theano
Python 기반 정적 그래프 프레임워크의 선구자로, 많은 현대 프레임워크의 기반 아이디어를 제공했다. 현재는 공식 개발이 종료되었다.
Caffe
이미지 처리에 특화된 초기 딥러닝 프레임워크로, 속도가 빠르고 모델 정의가 간결하지만 확장성은 제한적이다.
Chainer
Define-by-run 패러다임을 처음으로 제시한 동적 그래프 기반 프레임워크. PyTorch에 많은 영향을 주었으며 현재는 개발이 종료되었다.
ML 소프트웨어–컴파일러 스택
딥러닝 프레임워크는 하위 레벨의 컴파일러 및 하드웨어 가속기 기술과 결합하여 전체 ML 스택을 구성한다.
ML Framework Layer
모델을 정의하고 학습하는 고수준 인터페이스 계층 예: PyTorch, TensorFlow, Chainer, Caffe, Theano
IR & 그래프 최적화 계층
모델을 분석 가능한 중간 표현(IR)으로 변환하여 최적화 예: TorchDynamo, Torch FX, ONNX
ML 컴파일러 / 코드 생성 계층
그래프 최적화 결과를 기반으로 특정 하드웨어에 맞는 커널 코드를 생성 예: TVM, Triton, ONNX Runtime
커널 라이브러리 계층
행렬 연산 등 고성능 수학 연산이 구현된 저수준 라이브러리 예: cuDNN, cuBLAS, CUTLASS
하드웨어 백엔드
코드를 실제로 실행하는 물리적 장치 예: CPU, GPU, TPU, 기타 AI 가속기
함께 보기
참고
- PyTorch 공식 문서
- TensorFlow 공식 문서
- ONNX 기술 자료
