엔비디아 B200

엔비디아 B200(NVIDIA B200 Tensor Core GPU)은 미국 반도체 기업 엔비디아(NVIDIA)가 개발한 데이터센터용 그래픽 처리 장치(GPU)로, 블랙웰(Blackwell) 아키텍처를 기반으로 생성형 인공지능 및 대규모 언어 모델(LLM)의 학습과 추론을 가속하기 위해 설계된 고성능 AI 반도체이다.

개요

항목	내용
제품명	NVIDIA B200 Tensor Core GPU
제조사	엔비디아(NVIDIA)
아키텍처	Blackwell
최초 발표	2024년 3월 18일
출시 시기	2024년 하반기부터 공급
이전 세대	NVIDIA H100, H200 (Hopper)
후속 제품군	NVIDIA B300 (Blackwell Ultra)
제조 공정	TSMC 4NP
트랜지스터	2,080억 개
GPU 메모리	180GB HBM3e
메모리 대역폭	최대 8TB/s
GPU 간 연결	5세대 NVLink, 최대 1.8TB/s
전력 소비	GPU당 최대 1,000W(HGX B200 구성 기준)
주요 용도	AI 모델 학습·추론, 고성능 컴퓨팅, 데이터센터

B200은 2024년 3월 엔비디아 GTC 행사에서 공개된 블랙웰 아키텍처 기반 GPU이다. 이전 세대인 H100·H200보다 AI 연산 처리량과 메모리 용량, 메모리 대역폭이 확대되었다.

특히 초대형 언어 모델과 전문가 혼합 모델(MoE)의 추론 성능을 높이기 위해 FP4 저정밀 연산을 지원하는 2세대 Transformer Engine을 도입했다.

B200은 일반 소비자용 그래픽카드가 아니라 데이터센터의 AI 서버와 고성능 컴퓨팅 시스템에 탑재되는 가속기이다. 대표적인 제품으로 B200 GPU 8개를 탑재한 NVIDIA HGX B200 및 DGX B200 시스템이 있다.

주요 사양

다음은 HGX B200에 탑재되는 B200 SXM GPU의 주요 사양이다.

항목	사양
GPU 아키텍처	Blackwell
제조 공정	TSMC 4NP
트랜지스터	2,080억 개
칩 구성	2개 GPU 다이를 하나의 GPU로 통합
다이 간 대역폭	10TB/s
GPU 메모리	180GB HBM3e
메모리 대역폭	최대 8TB/s
FP4 Tensor Core	18 PFLOPS(희소), 9 PFLOPS(밀집)
FP8 Tensor Core	9 PFLOPS(희소), 4.5 PFLOPS(밀집)
FP16/BF16 Tensor Core	4.5 PFLOPS(희소), 2.25 PFLOPS(밀집)
FP32	75 TFLOPS
NVLink	5세대
GPU 간 NVLink 대역폭	최대 1.8TB/s(양방향 합계)
최대 GPU 전력	1,000W(HGX 구성 기준)

표의 연산 성능은 HGX B200 8-GPU 플랫폼의 공식 수치를 GPU 1개 기준으로 환산한 이론적 최대 성능이다. 희소(Sparse) 성능은 특정한 구조적 희소성 조건을 활용했을 때의 수치이며, 모든 모델에서 해당 성능을 달성하는 것은 아니다.

아키텍처

듀얼 다이 설계

B200은 기존의 단일 대형 GPU 다이 대신 두 개의 반도체 다이를 결합하는 설계를 채택했다.

각 다이는 TSMC 4NP 공정으로 제조되며, 총 2,080억 개의 트랜지스터를 집적한다.

두 다이는 초당 10TB의 대역폭을 제공하는 NV-HBI(NVIDIA High-Bandwidth Interface)로 연결되며, 소프트웨어에서는 하나의 GPU처럼 동작한다.

이러한 설계를 통해 반도체 노광 장비의 최대 노광 영역인 레티클(Reticle) 크기의 제약을 극복하면서 연산 자원을 확장할 수 있다.

2세대 Transformer Engine

B200은 블랙웰 아키텍처의 2세대 Transformer Engine을 탑재한다.

Transformer Engine은 트랜스포머 기반 AI 모델의 학습 및 추론을 가속하기 위한 기술로, 연산 정밀도를 효율적으로 관리하여 처리량과 메모리 효율을 높인다.

주요 특징은 다음과 같다.

• FP4 지원: 4비트 부동소수점 연산을 이용해 AI 추론 처리량 향상
• FP8 지원: 8비트 부동소수점 연산으로 학습과 추론 가속
• 마이크로 텐서 스케일링: 세분화된 스케일 값을 적용하여 저정밀 연산의 수치 표현 범위를 관리
• 동적 정밀도 관리: 연산 과정에서 필요한 정밀도와 처리 효율을 조정
• 대규모 모델 최적화: 수천억~수조 개 매개변수 규모의 언어 모델과 MoE 구조를 지원

FP4 연산은 FP8이나 FP16보다 적은 비트로 데이터를 표현하므로 메모리 사용량과 연산 부담을 줄일 수 있다.

다만 정밀도가 낮아지면 모델의 정확도에 영향을 줄 수 있으므로, 모델과 연산 특성에 적합한 양자화 및 정밀도 관리가 필요하다.

NVLink 5세대

B200은 5세대 NVLink를 지원한다.

GPU 하나당 최대 1.8TB/s의 양방향 통신 대역폭을 제공하며, 이는 H100의 4세대 NVLink 대역폭인 900GB/s의 두 배에 해당한다.

NVLink는 여러 GPU 사이에서 데이터를 빠르게 교환하도록 지원하는 기술이다. 대규모 언어 모델의 분산 학습과 추론에서는 GPU 간 통신 성능이 전체 시스템의 처리량에 큰 영향을 미친다.

B200은 NVSwitch와 결합하여 여러 GPU를 고속 상호연결 네트워크로 구성할 수 있다.

H100 및 H200과 비교

B200은 호퍼(Hopper) 아키텍처 기반의 H100·H200을 계승하는 제품이다.

항목	H100 SXM	H200 SXM	B200 SXM
아키텍처	Hopper	Hopper	Blackwell
최초 발표	2022년	2023년	2024년
제조 공정	TSMC 4N	TSMC 4N	TSMC 4NP
GPU 메모리	80GB HBM3	141GB HBM3e	180GB HBM3e
메모리 대역폭	3.35TB/s	4.8TB/s	최대 8TB/s
NVLink 대역폭	900GB/s	900GB/s	1,800GB/s
FP4 연산	미지원	미지원	지원

메모리 용량과 대역폭은 엔비디아가 공개한 각 SXM 제품의 대표 사양을 기준으로 한다.

B200의 메모리 용량은 H100 대비 2.25배, H200 대비 약 1.28배이며, 메모리 대역폭은 각각 약 2.39배와 1.67배에 해당한다.

메모리 용량 증가는 더 큰 AI 모델과 긴 컨텍스트를 처리하는 데 유리하며, 메모리 대역폭 증가는 모델 가중치 및 중간 데이터를 읽고 쓰는 과정의 병목을 줄이는 데 도움이 된다.

그러나 실제 AI 성능은 모델 구조, 연산 정밀도, 배치 크기, GPU 간 통신, 소프트웨어 최적화 등에 따라 달라지므로 단순한 사양 비율이 실제 처리 속도 향상률을 의미하지는 않는다.

주요 시스템

B200 GPU는 개별 가속기뿐 아니라 여러 GPU를 결합한 AI 서버 플랫폼의 형태로도 공급된다.

제품	구성	특징
NVIDIA B200	Blackwell GPU 1개	180GB HBM3e를 탑재한 AI 가속기
NVIDIA HGX B200	B200 GPU 8개	서버 제조사를 위한 8-GPU 가속 컴퓨팅 플랫폼
NVIDIA DGX B200	B200 GPU 8개 및 CPU·네트워크·스토리지	엔비디아가 제공하는 통합 AI 서버
NVIDIA GB200	Grace CPU 1개 및 Blackwell GPU 2개	CPU와 GPU를 NVLink-C2C로 결합한 슈퍼칩
NVIDIA GB200 NVL72	Blackwell GPU 72개 및 Grace CPU 36개	액체 냉각 기반 랙 단위 AI 컴퓨팅 시스템

B200과 GB200은 서로 다른 개념이다. B200은 GPU 자체를 지칭하는 반면, GB200은 두 개의 Blackwell GPU와 하나의 Grace CPU를 결합한 Grace Blackwell Superchip을 가리킨다.

DGX B200

NVIDIA DGX B200은 B200 GPU 8개를 탑재한 통합 AI 서버이다.

항목	사양
GPU	NVIDIA B200 8개
GPU 메모리	총 1,440GB HBM3e
메모리 대역폭	총 64TB/s
FP4 연산	최대 144 PFLOPS(희소)
FP8 연산	최대 72 PFLOPS(희소)
CPU	Intel Xeon Platinum 8570 2개
CPU 코어	총 112개
시스템 메모리	2TB, 최대 4TB 확장
NVSwitch	2개
NVLink 총 대역폭	14.4TB/s
최대 시스템 전력	14.3kW
서버 규격	10U 랙마운트

DGX B200은 대규모 AI 모델 학습, 추론 서비스, 데이터 분석 및 고성능 컴퓨팅을 위한 서버이다.

GPU 8개의 총 메모리 용량은 1.44TB이지만, 이는 하나의 GPU가 단독으로 1.44TB를 사용할 수 있다는 의미는 아니다. 메모리는 GPU별로 분리되어 있으며, 대형 모델을 여러 GPU에 분산 배치하려면 적절한 병렬화 기술이 필요하다.

성능

엔비디아는 2024년 Blackwell 플랫폼을 발표하면서 H100 대비 AI 모델 학습 속도는 최대 4배, 추론 속도는 최대 30배 향상될 수 있다고 설명했다.

다만 이러한 수치는 특정 모델과 시스템 구성, 연산 정밀도 및 최적화 조건을 전제로 한 플랫폼 수준의 비교이다. B200 GPU 하나가 모든 작업에서 H100 GPU 하나보다 30배 빠르다는 의미는 아니다.

2024년 MLPerf Inference v4.1 평가에서는 Blackwell 플랫폼이 Llama 2 70B 모델의 추론에서 H100 대비 GPU당 최대 4배의 토큰 처리량을 기록했다고 발표했다.

실제 성능을 비교할 때는 다음 조건을 함께 고려해야 한다.

• 모델 규모: 모델의 매개변수 수와 활성화되는 매개변수 수
• 연산 정밀도: FP4, FP8, BF16 등 사용되는 숫자 표현 방식
• 배치 크기: 동시에 처리하는 요청의 수
• 컨텍스트 길이: 입력 및 출력 토큰 수
• 병렬화 방식: Tensor Parallelism, Pipeline Parallelism 등
• 통신 구조: NVLink, NVSwitch 및 서버 간 네트워크 성능

특히 FP4의 이론적 연산 성능은 FP8이나 BF16보다 높지만, 저정밀 연산을 적용할 수 없는 모델이나 작업에서는 그 차이가 실제 처리량에 그대로 반영되지 않는다.

활용 분야

B200은 주로 대규모 AI 컴퓨팅 환경에서 활용된다.

• 대규모 언어 모델 학습: 수천억 개 이상의 매개변수를 가진 모델의 학습
• 생성형 AI 추론: 대량의 사용자 요청을 처리하는 AI 서비스
• 추론형 AI: 긴 추론 과정과 다수의 토큰 생성을 요구하는 모델 실행
• 멀티모달 AI: 텍스트·이미지·음성·영상 등을 처리하는 AI 모델
• AI 에이전트: 여러 모델 호출과 도구 실행이 필요한 자동화 서비스
• 고성능 컴퓨팅: 과학기술 시뮬레이션과 대규모 병렬 연산
• AI 클라우드: 기업과 연구기관에 GPU 컴퓨팅 자원을 제공하는 서비스

B200은 높은 연산 성능과 메모리 대역폭을 제공하지만, 전력 소비와 발열이 크므로 데이터센터의 전력 공급과 냉각 설계가 중요하다.

또한 B200을 효과적으로 활용하려면 GPU 자체의 성능뿐 아니라 CPU, 시스템 메모리, 스토리지, GPU 간 네트워크 등의 성능도 충분히 확보해야 한다.

후속 제품

엔비디아는 B200 이후 Blackwell Ultra 아키텍처 기반의 B300을 선보였다.

B300은 B200보다 더 큰 GPU 메모리와 개선된 AI 처리 성능을 제공하는 후속 제품이다.

항목	B200	B300
아키텍처	Blackwell	Blackwell Ultra
GPU 메모리	180GB HBM3e	288GB HBM3e
GPU 메모리 대역폭	최대 8TB/s	최대 8TB/s
주요 특징	FP4 기반 AI 학습·추론 가속	메모리 용량 확대 및 AI 추론 성능 개선

엔비디아는 2026년 11월 기준 HGX B200과 HGX B300을 모두 공급 중이라고 안내하고 있다.

B300 이후에는 Vera Rubin 아키텍처 기반의 차세대 AI 컴퓨팅 플랫폼이 발표되었으며, 제품별 공급 일정과 사양은 별도로 구분해야 한다.

같이 보기

• NVLink