블록 부동소수점 양자화 편집하기 (부분)

==한계 및 고려사항==
블록 부동소수점 양자화는 강점이 있지만, 적용할 때 주의해야 할 한계들도 존재한다:
*블록 내부 값 차이: 블록 내 값들이 크게 다르면 공유 지수가 적합하지 않을 수도 있고, 일부 값이 희생되어 양자화 오차가 커질 수 있다.
*아웃라이어(outlier): 블록 내 일부 값이 극단적으로 큰 경우 그 값에 맞춘 지수가 전체 블록을 지배하게 되어 다른 값들의 표현 정밀도가 크게 떨어질 수 있다. 이는 특히 대형 언어 모델 활성화나 가중치에서 문제가 된다. <ref>“Accurate Block Quantization in LLMs with Outliers”</ref>
*누산 정밀도 (Accumulation Precision): BFP에서는 정수 가수들을 곱하고 누산하는 과정에서 오버플로우나 스와핑(swamping, 작은 항이 큰 누산값에 묻히는 현상) 문제가 발생할 수 있다. 따라서 누산 단계에 필요한 비트 폭을 잘 설계해야 한다. <ref>“Ultra‑Low Accumulation Precision Inference with Block Floating Point”</ref>
*하드웨어 지원: 블록 부동소수점을 효과적으로 쓰려면 하드웨어(가속기, NPU 등)가 해당 포맷을 효율적으로 처리할 수 있어야 한다.
*설계 복잡도: 블록 크기, 비트폭, 클리핑 전략, 재정규화 주기 등을 설계해야 하며, 과적합 없이 일반화 성능을 유지해야 한다.