부동소수점 연산

단위로써의 부동소수점 연산(FLOP, Floating Point Operation)은 컴퓨터가 수행하는 단일 부동소수점 연산을 의미한다. 보통 곱셈, 덧셈, 나눗셈, 제곱근 계산 등이 이에 포함된다. 인공지능, 과학 계산, 고성능 컴퓨팅(HPC)에서는 알고리즘이나 모델의 연산 복잡도를 나타내는 단위로 사용된다.

정의

• FLOP은 한 번의 부동소수점 연산을 뜻한다.
• FLOPs는 초당 수행할 수 있는 FLOP의 횟수(Floating Point Operations per second) 또는 연산량의 총합을 의미한다.

예: "1 GFLOPs" = 초당 10억 번의 부동소수점 연산 처리 성능.

FLOP과 MACs의 관계

• FLOP은 모든 형태의 부동소수점 연산을 포괄한다.
• MACs(Multiply–Accumulate operations)는 곱셈과 덧셈을 묶은 연산 단위를 세는 방식이다.
• 보통 MAC 1회를 FLOP 2회(곱셈 + 덧셈)로 계산한다. 따라서 딥러닝 모델의 연산량을 FLOPs 또는 MACs 단위로 환산할 수 있다.

활용

• 컴퓨터 성능 측정 : 슈퍼컴퓨터의 성능은 주로 PFLOPs(페타플롭스), EFLOPs(엑사플롭스) 단위로 표시된다.
• 딥러닝 : 모델의 복잡도를 FLOPs로 측정하여 연산 효율성 비교에 활용된다.
• 과학 계산 : 수치 해석, 물리 시뮬레이션, 기상 예측 등 대규모 계산의 연산량을 FLOPs로 표현한다.

단위

• 1 KFLOPs = 10³ FLOPs
• 1 MFLOPs = 10⁶ FLOPs
• 1 GFLOPs = 10⁹ FLOPs
• 1 TFLOPs = 10¹² FLOPs
• 1 PFLOPs = 10¹⁵ FLOPs
• 1 EFLOPs = 10¹⁸ FLOPs

같이 보기

• 곱셈-누산 연산
• 인공지능 하드웨어
• 합성곱 신경망
• 딥러닝

참고 문헌

• Jack Dongarra et al., The LINPACK Benchmark: Past, Present and Future, Concurrency and Computation, 2003.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016.