HBM
IT 위키
더 많은 작업
HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 개의 DRAM 다이를 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결한 뒤, 프로세서 바로 옆에 붙여 매우 넓은 데이터 통로로 연결해 대역폭을 크게 높인 적층형 메모리이다.
프로세서 연산 속도는 빠르게 늘었지만 메모리에서 데이터를 가져오는 속도는 그만큼 늘지 못해, 연산 장치가 데이터를 기다리며 노는 메모리 병목(메모리 장벽)이 생겼다. 특히 GPU·AI 가속기는 거대한 모델 가중치와 데이터를 끊임없이 읽어야 하므로 메모리 대역폭이 성능을 좌우한다.
기존 GDDR 메모리는 칩을 기판 위에 넓게 펼쳐 놓고 좁은 버스(칩당 32비트)를 아주 높은 클록으로 돌려 대역폭을 얻는다. HBM 은 반대로 버스를 아주 넓게(스택당 1024비트, HBM4 는 2048비트) 만들고 클록은 비교적 낮게 유지한다. 수천 가닥의 배선은 일반 기판으로는 깔 수 없으므로, 메모리를 프로세서 옆 실리콘 인터포저 위에 함께 올리는 2.5D 패키징을 쓴다.
HBM 은 AMD 와 SK하이닉스가 함께 개발했고 2013년 JEDEC 표준(JESD235)이 되었다. 2015년 AMD 그래픽카드에 처음 탑재됐으며, 현재는 엔비디아 H100·B200 같은 AI 가속기와 고성능 컴퓨팅(HPC)의 표준 메모리이다.
| 구성 요소 | 역할 |
|---|---|
| 코어 다이(DRAM 다이) | 데이터를 저장하는 DRAM 칩. 4·8·12·16단으로 쌓는다 |
| 베이스 다이(로직 다이) | 스택 맨 아래에서 프로세서와의 인터페이스, 신호 버퍼, 테스트 기능을 맡는다. HBM4 부터는 파운드리 로직 공정으로 만들어 고객 맞춤 기능을 넣기도 한다 |
| TSV(Through-Silicon Via) | 다이를 수직으로 관통하는 미세 전극. 다이 사이를 수천 개의 통로로 짧게 연결한다 |
| 마이크로 범프·본딩 | 다이와 다이를 접합한다. 열압착 비전도성 필름(TC-NCF), 매스 리플로우 몰디드 언더필(MR-MUF), 차세대 하이브리드 본딩 등의 방식이 있다 |
| 실리콘 인터포저 | GPU 와 HBM 스택을 나란히 올려 미세 배선으로 연결하는 중간 기판(TSMC CoWoS 같은 2.5D 패키징) |
| 세대 | 핀당 속도 | 인터페이스 폭 | 스택당 대역폭 | 비고 |
|---|---|---|---|---|
| HBM | 1 Gbit/s | 1024비트 | 128 GB/s | 2013년 표준 |
| HBM2 | 2 Gbit/s | 1024비트 | 256 GB/s | 2016년, 최대 8단 |
| HBM2E | 3.2~3.6 Gbit/s | 1024비트 | 약 410~460 GB/s | 용량 확대 |
| HBM3 | 6.4 Gbit/s | 1024비트 | 약 819 GB/s | 2022년, 최대 12단 |
| HBM3E | 약 9.2~9.8 Gbit/s | 1024비트 | 약 1.2 TB/s 이상 | AI 가속기 주력 |
| HBM4 | 약 8 Gbit/s 이상 | 2048비트 | 약 2 TB/s 이상 | 2025년 JEDEC 표준, 최대 16단 |
| 구분 | HBM | GDDR | DDR(DIMM) |
|---|---|---|---|
| 배치 | 프로세서 옆 인터포저 위(같은 패키지) | 기판 위 프로세서 주변 | 메인보드 슬롯 |
| 적층 | TSV 로 수직 적층 | 단일 칩 | 단일 칩(모듈에 여러 개) |
| 버스 폭 | 매우 넓음(스택당 1024~2048비트) | 좁음(칩당 32비트) | 채널당 64비트 |
| 대역폭 | 매우 높음 | 높음 | 보통 |
| 전력 효율(비트당) | 가장 좋음(신호 경로가 짧고 클록이 낮음) | 중간 | 중간 |
| 면적 | 작음 | 큼 | 큼 |
| 비용·용량 확장 | 비싸고 증설 불가 | 중간 | 싸고 증설 쉬움 |
| 용도 | AI 가속기, HPC, 고성능 네트워크 장비 | 그래픽카드, 게임기 | PC·서버 주기억장치 |
- 장점
- 넓은 버스로 대역폭이 매우 크다
- 신호 경로가 짧고 클록이 낮아 비트당 전력 소모가 적다
- 수직 적층으로 차지하는 면적이 작다
- 단점
- TSV·적층·인터포저 공정이 복잡해 수율이 낮고 가격이 비싸다
- 쌓은 다이 사이에 열이 갇혀 발열 관리가 어렵다
- 패키지에 고정되므로 용량을 나중에 늘릴 수 없고, DDR 보다 용량당 비용이 높다
- 첨단 패키징(CoWoS 등) 생산 능력이 공급을 제약한다
- HBM-PIM: 메모리 안에 연산 장치를 넣어 데이터 이동 자체를 줄인다 → 메모리 내 처리
- 맞춤형 HBM: 베이스 다이에 고객사의 로직을 넣어 프로세서와 기능을 나눈다
- 하이브리드 본딩: 범프 없이 구리끼리 직접 접합해 적층 높이를 낮추고 16단 이상을 쌓는다
- 3D 적층: 인터포저 없이 프로세서 위에 HBM 을 직접 쌓는 방식이 연구되고 있다