HBM (High Bandwidth Memory)
HBM은 여러 개의 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극)로 연결한 뒤, 실리콘 인터포저 위에서 GPU 바로 옆에 1024-bit 초광폭 버스로 붙인 고대역폭 메모리입니다. 좁은 면적에 큰 용량과 높은 대역폭, 낮은 전력을 동시에 달성합니다.
01HBM (High Bandwidth Memory)
개념 한눈에 보기기존 방식 · GDDR (HBM 이전)
HBM 이전엔 GDDR을 썼습니다. DRAM 칩들을 GPU 옆 PCB 위에 따로 떨어뜨려 배치합니다.
각 칩은 GPU와 PCB 위의 긴 배선으로 연결됩니다. 한 칩의 버스 폭이 좁아(예: 32-bit) 대신 클럭을 크게 높여 속도를 냅니다.
거리가 길고 폭이 좁아 대역폭을 키우기 어렵고, 높은 클럭 탓에 전력·발열이 큽니다. 이 한계가 바로 HBM이 등장한 배경입니다.
HBM · 3D 적층 고대역폭 메모리
HBM은 GDDR과 정반대로 접근합니다. DRAM을 옆으로 흩지 않고 수직으로 쌓아 GPU 바로 옆에 붙입니다.
여러 개의 DRAM 다이를 위로 적층합니다. 평면으로 넓히지 않아 작은 면적에 큰 용량을 담습니다.
스택 맨 아래 베이스 로직 다이가 PHY(물리 인터페이스)와 제어 회로를 맡아, 위 DRAM 다이들과 바깥을 연결합니다.
TSV(실리콘 관통 전극)가 다이들을 수직 관통해 연결합니다. GDDR의 긴 PCB 배선과 달리 경로가 짧고 수천 개로 많습니다.
HBM 스택과 GPU는 실리콘 인터포저 위에 나란히 놓여 1024-bit 초광폭 버스로 직접 연결됩니다. GDDR의 32-bit 좁은 버스와 대조적입니다.
넓은 버스 + 짧은 거리 덕분에 클럭이 낮아도 GDDR보다 훨씬 높은 대역폭을 내고, 전력 효율까지 좋습니다.
02 쉽게 이해하기
For Everyone메모리 다이를 옆으로 넓히는 대신 수직으로 쌓고, TSV 로 다이 사이를 수천 개의 통로로 잇습니다. 스택을 GPU 바로 옆에 두고 인터포저의 넓은 버스로 연결해, 낮은 클럭으로도 큰 대역폭을 냅니다.
DRAM을 수직으로 쌓아 면적을 아끼고, TSV로 다이를 관통 연결해 경로를 짧고 많게 만듭니다.
GPU와는 인터포저 위에서 1024-bit 폭의 버스로 붙어, 클럭이 낮아도 한 번에 넓은 데이터를 옮겨 GDDR보다 높은 대역폭과 좋은 전력 효율을 냅니다.
- –AI 가속기·HPC GPU·고성능 네트워크 장비의 메모리
- –대역폭이 병목인 워크로드
- –GDDR과의 트레이드오프 이해
03 자주 묻는 질문
FAQHBM (High Bandwidth Memory)란 무엇인가요?+
HBM은 여러 개의 DRAM 다이를 수직으로 쌓고 TSV(실리콘 관통 전극)로 연결한 뒤, 실리콘 인터포저 위에서 GPU 바로 옆에 1024-bit 초광폭 버스로 붙인 고대역폭 메모리입니다. 좁은 면적에 큰 용량과 높은 대역폭, 낮은 전력을 동시에 달성합니다.
HBM (High Bandwidth Memory)은(는) 어디에 사용하나요?+
AI 가속기·HPC GPU·고성능 네트워크 장비의 메모리, 대역폭이 병목인 워크로드, GDDR과의 트레이드오프 이해
HBM (High Bandwidth Memory)를 쉽게 비유하면?+
메모리 다이를 옆으로 넓히는 대신 수직으로 쌓고, TSV 로 다이 사이를 수천 개의 통로로 잇습니다. 스택을 GPU 바로 옆에 두고 인터포저의 넓은 버스로 연결해, 낮은 클럭으로도 큰 대역폭을 냅니다.