HBM은 GPU 가까이에서 대역폭을 넓힙니다.
HBM은 여러 DRAM 다이를 수직으로 쌓고 TSV로 연결해 넓은 인터페이스를 만듭니다. AI 가속기가 많은 데이터를 동시에 계산할 때 메모리에서 데이터를 기다리는 시간을 줄이는 데 초점이 있습니다.
DDR5는 서버의 시스템 메모리를 맡습니다.
DDR5 DIMM은 CPU와 연결되어 운영체제, 애플리케이션, 데이터 전처리와 일반 서버 작업을 지원합니다. 슬롯에 모듈을 추가해 용량을 구성하는 방식이라 서버 설계와 확장성에서 중요한 역할을 합니다.
대역폭과 용량을 같은 숫자로 비교하면 안 됩니다.
HBM 기사에서는 TB/s 단위 대역폭이 강조되고, DDR5 서버 기사에서는 DIMM 용량과 채널 구성이 자주 강조됩니다. 대역폭은 일정 시간에 옮기는 데이터량이고 용량은 한 번에 담아둘 수 있는 데이터량이라 서로 다른 질문입니다.
HBM이 DDR5를 전부 대체하지는 않습니다.
Micron은 현대 시스템에서 CPU가 DDR5나 LPDDR5를 사용하고 GPU가 복잡한 계산에 HBM을 사용하는 예를 설명합니다. AI 서버는 CPU, GPU, HBM, DDR5, SSD와 네트워크가 함께 움직여야 합니다.
HBM은 패키징과 열 관리까지 묶인 기술입니다.
GPU 가까이에 고대역폭 메모리를 배치하려면 인터포저와 첨단 패키징, 전력 공급, 발열 관리가 함께 필요합니다. 단순히 메모리 칩 속도만 높인다고 AI 시스템 성능이 같은 비율로 오르는 것은 아닙니다.
뉴스에서는 탑재 위치와 고객 검증을 구분합니다.
신제품 샘플 제공, 고객사 품질 검증, 양산 출하, 실제 가속기 탑재는 서로 다른 단계입니다. HBM 관련 기사를 볼 때 세대 이름만 보지 말고 어느 단계인지 확인해야 과장된 해석을 줄일 수 있습니다.