곱셈-누산 연산

곱셈-누산 연산(MAC, Multiply–Accumulate operation)은 인공지능 및 딥러닝 모델의 연산량을 측정하는 지표로, 곱셈(multiplication)과 덧셈(accumulation)이 결합된 기본 연산 단위를 의미한다. 주로 합성곱 신경망(CNN)이나 완전연결층(Dense layer)과 같이 대규모 연산이 필요한 구조에서 모델의 연산 복잡도를 비교하는 데 사용된다.

정의

• MAC(Multiply–Accumulate operation)은 하나의 곱셈 연산과 그 결과를 다른 값에 더하는 연산을 묶어서 표현한 것.
  • 예: y = Σ w_ix_i 계산에서 각 항은 "곱셈 1회 + 덧셈 1회" → MAC 1회.

• MACs는 이러한 곱셈-누산 연산을 전체 모델에서 몇 번 수행하는지를 나타내며, 복수형으로 표기하는 것이 일반적이다.
  • 예: "이 모델은 100M MACs가 필요하다" → 약 1억 회의 곱셈-누산 연산 필요.

FLOPs와의 관계

• FLOP(Floating Point Operation)는 부동소수점 연산의 총량을 의미하며, 곱셈, 덧셈, 나눗셈 등이 모두 포함된다.
• 많은 문헌에서는 MAC 1회를 FLOP 2회(곱셈 1회 + 덧셈 1회)로 대응시켜 계산한다.
• 따라서 MAC는 FLOP와 밀접히 관련되며, 단순화된 연산량 지표로 자주 사용된다.

활용

• 모델 경량화 연구에서 연산 효율성을 비교하는 기준으로 사용
• 하드웨어 최적화(GPU, TPU, NPU 등)에서 처리량을 산정하는 척도로 활용
• CNN, RNN, Transformer 등 다양한 딥러닝 모델의 복잡도를 정량적으로 비교하는 데 사용

같이 보기

• 부동소수점 연산
• 합성곱 신경망
• 딥러닝
• 인공지능 하드웨어

참고 문헌

• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016.
• Mark Sandler et al., MobileNetV2: Inverted Residuals and Linear Bottlenecks, CVPR 2018.