블록 부동소수점 양자화 편집하기 (부분)

==개념 및 배경==
전통적인 IEEE 부동소수점 표현에서는 각 수마다 지수와 가수(mantissa)가 모두 별도로 존재한다.  반면, 블록 부동소수점에서는 일정 개수의 값들을 하나의 블록(block)으로 묶고, 이 블록 내의 모든 값이 동일한 지수를 공유하면서, 각 값은 공유 지수에 대응하는 가수만을 유지한다. 이러한 구조는 고정소수점(fixed-point)과 부동소수점(floating-point)의 절충점 역할을 한다.

이 방식은 특히 신경망 양자화 및 딥러닝 연산에서 많이 사용되며, 다음 장점을 가진다:
*지수 저장 비용 절감 — 블록 당 하나의 지수만 저장
*연산 단순화 — 동일 지수를 가정하면 블록 내 산술 연산을 정수 기반으로 처리 가능
*동적 범위 유지 — 부동소수점과 유사한 표현 범위를 유지하면서도 비트 수를 줄임
하지만 단점도 존재하는데, 블록 내 값들의 스케일 차이가 클 경우 공유 지수 하나로 표현하기가 어렵다는 점이 대표적이다.

본 개념은 컴퓨터 산술 분야에서도 전통적으로 연구된 바 있다.