Oh My AlgorithmEN
←
하드웨어·메모리
← 전체 카탈로그

하드웨어·메모리

GPU 메모리의 배치와 데이터 연결 구조

HBM (High Bandwidth Memory)

GDDR · 메모리 칩을 GPU 주변에 배치

먼저 GDDR 메모리의 배치를 살펴봅니다. 여러 DRAM 칩을 GPU 주변의 회로 기판에 배치합니다.

GDDRDRAMGDDRDRAMGPU / ProcessorMemory ControllerGDDRDRAMGDDRDRAMPCB 기판 · 긴 배선 · 32-bit 좁은 버스 × 여러 개
↔ 드래그하여 이동

HBM · DRAM을 수직으로 적층

HBM은 여러 DRAM 다이를 수직으로 쌓고 GPU 가까이에 배치합니다.

HBM 스택DRAM DieDRAM DieDRAM DieDRAM DieBase Logic DiePHY · 컨트롤GPU / ProcessorMemory ControllerSilicon Interposer · 1024-bit 와이드 버스Package Substrate
↔ 드래그하여 이동
원리와 활용

HBM의 DRAM 적층과 데이터 연결 구조를 GDDR 배치와 비교합니다.

여러 DRAM 다이를 쌓고 GPU 가까이에 넓은 버스로 연결해 대역폭을 확보합니다.

TSV는 적층된 다이를 수직으로 연결하고, 인터포저는 GPU와 HBM 사이를 연결합니다. 버스 폭과 세부 구조는 세대에 따라 다르며, 그림의 수치는 설명용 예시입니다.

GPU의 메모리 대역폭과 데이터 이동 비용, 고대역폭 메모리의 패키징 구조를 이해할 때 사용합니다.

학습 주제