HBM (High Bandwidth Memory)
HBM은 여러 개의 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극)로 연결한 뒤, 실리콘 인터포저 위에서 GPU 바로 옆에 1024-bit 초광폭 버스로 붙인 고대역폭 메모리입니다. 좁은 면적에 큰 용량과 높은 대역폭, 낮은 전력을 동시에 달성합니다.
01 Concept at a Glance
Interactive Step-by-StepHBM 이전엔 GDDR을 썼습니다. DRAM 칩들을 GPU 옆 PCB 위에 따로 떨어뜨려 배치합니다.
HBM은 GDDR과 정반대로 접근합니다. DRAM을 옆으로 흩지 않고 수직으로 쌓아 GPU 바로 옆에 붙입니다.
02 Understand It Simply
For Everyone단층 창고를 옆으로 넓히는 대신 고층 건물로 쌓고(적층), 건물마다 전용 엘리베이터(TSV)를 수천 개 두며, 공장(GPU) 바로 옆에 넓은 컨베이어 벨트(인터포저 버스)로 연결한 셈입니다.
DRAM을 수직으로 쌓아 면적을 아끼고, TSV로 다이를 관통 연결해 경로를 짧고 많게 만듭니다.
GPU와는 인터포저 위에서 1024-bit 폭의 버스로 붙어, 클럭이 낮아도 한 번에 넓은 데이터를 옮겨 GDDR보다 높은 대역폭과 좋은 전력 효율을 냅니다.
- –AI 가속기·HPC GPU·고성능 네트워크 장비의 메모리
- –대역폭이 병목인 워크로드
- –GDDR과의 트레이드오프 이해
03 Frequently Asked Questions
FAQWhat is HBM (High Bandwidth Memory)?+
HBM은 여러 개의 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극)로 연결한 뒤, 실리콘 인터포저 위에서 GPU 바로 옆에 1024-bit 초광폭 버스로 붙인 고대역폭 메모리입니다. 좁은 면적에 큰 용량과 높은 대역폭, 낮은 전력을 동시에 달성합니다.
Where is HBM (High Bandwidth Memory) used?+
AI 가속기·HPC GPU·고성능 네트워크 장비의 메모리, 대역폭이 병목인 워크로드, GDDR과의 트레이드오프 이해
What's a simple analogy for HBM (High Bandwidth Memory)?+
단층 창고를 옆으로 넓히는 대신 고층 건물로 쌓고(적층), 건물마다 전용 엘리베이터(TSV)를 수천 개 두며, 공장(GPU) 바로 옆에 넓은 컨베이어 벨트(인터포저 버스)로 연결한 셈입니다.