Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
1. HBM 메모리란 무엇인가?
HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 개의 DRAM 다이(die)를 수직으로 적층하고 실리콘 관통 전극(TSV, Through-Silicon Via)으로 연결한 3D 패키지 메모리입니다. SK하이닉스가 최초 개발하고 AMD와 함께 2015년 첫 상용화했으며, 현재 NVIDIA H100·A100·H200, AMD MI300X 등 AI GPU의 핵심 메모리로 사용됩니다.
핵심 포인트: 기존 GDDR 메모리가 직렬 방식으로 데이터를 전송한다면, HBM은 1,024비트 이상의 초광폭 버스(Wide Bus)를 통해 동시에 대량의 데이터를 전달합니다. GPU 한 개에 HBM을 4~8개 붙이면 초당 수 TB의 데이터를 처리할 수 있습니다.
AI 모델 학습·추론에서 가장 큰 병목은 메모리 대역폭입니다. LLM처럼 수백억 개의 파라미터를 읽어야 하는 작업에서 HBM의 초고속 전송 속도는 결정적인 성능 차이를 만들어냅니다.
2. 물리 구조 — TSV & 2.5D 패키징
TSV (실리콘 관통 전극): 와이어(선)로 칩을 잇는 대신, 칩 자체에 미세한 구멍을 뚫어 수직으로 연결하는 ‘반도체 전용 엘리베이터’ 기술입니다.
2.5D 패키징: GPU와 HBM을 수평으로 나열하되, 그 밑에 ‘인터포저’라는 고속도로판을 깔아 데이터 전송 속도를 극대화하는 조립 기술입니다.
혁신 이유: 기존의 평면적인 반도체 미세화 공정이 한계에 부딪히자, 칩을 쌓고 조립하는 ‘후공정(패키징)’에서 돌파구를 찾은 결과물입니다.
3. 작동 원리 흐름도
GPU가 HBM 메모리에서 데이터를 읽는 전 과정을 단계별로 살펴봅니다.
핵심 경로: GPU가 연산을 명령하면, 제어기가 물리 계층(PHY)을 거쳐 HBM의 실리콘 관통 전극(TSV) 통로로 신호를 보냅니다.
병렬 처리: 일반 D램과 달리 1,024개의 압도적인 통로(초광대역폭)를 통해 엄청난 양의 데이터가 동시에 이동합니다.
최종 목적지: 수직으로 쌓인 메모리 다이(Die)에서 출력된 데이터는 다시 TSV와 인터포저를 거쳐 GPU 내 캐시 메모리에 순식간에 도달합니다.
4. HBM 발전 타임라인
2013
SK하이닉스 & AMD, HBM 아이디어 공동 개발 착수. JEDEC 표준화 논의 시작
2014
JEDEC, HBM1 표준(JESD235) 공식 채택. 1,024비트 버스·4단 스택 규정
2015
AMD Radeon Fury X에 HBM1 최초 상용화. 업계 최초 512GB/s 대역폭 달성
2016
NVIDIA V100(Volta), HBM2 채택. AI·딥러닝 가속기 시장 개화
2020
NVIDIA A100, HBM2E로 2TB/s 돌파. ChatGPT 이전 LLM 학습 인프라의 핵심
2022
SK하이닉스, 세계 최초 HBM3 양산. NVIDIA H100에 탑재, 3.35TB/s 달성
2023
ChatGPT 폭발적 수요로 HBM 공급 부족 사태. 삼성·마이크론 HBM3 양산 진입
2024
HBM3E 양산. NVIDIA H200 36GB HBM3E 탑재. 가격 GPU당 수천만 원대 형성
2025+
HBM4 개발 가속화. 버스 폭 2배(2,048bit), AI 온디바이스·엣지 AI 확장 기대
5. 비교표 — HBM vs GDDR7 vs LPDDR5X
HBM, GDDR7, LPDDR5X는 각각 대역폭(속도), 그래픽, 저전력에 특화된 차세대 메모리 규격입니다. 사양과 목적에 따라 뚜렷한 차이가 있습니다.
- HBM (High Bandwidth Memory): D램을 아파트처럼 수직으로 높게 쌓아 올려 데이터가 이동하는 통로(대역폭)를 극한으로 넓힌 메모리입니다. 속도가 압도적으로 빠르지만 가격이 매우 비싸 AI 서버나 슈퍼컴퓨터용 GPU에 주로 쓰입니다.
- GDDR7 (Graphics DDR7): 그래픽 처리에 특화된 고속 메모리입니다. HBM처럼 쌓지 않고 기존 D램 구조를 유지하면서 신호 전송 방식을 혁신해 속도를 끌어올렸습니다. PC용 그래픽카드(RTX 시리즈 등)나 콘솔 게임기에 탑재됩니다.
- LPDDR5X (Low Power DDR5X): 스마트폰, 태블릿, 얇은 노트북을 위한 ‘저전력’ 메모리입니다. 배터리를 오래 쓰는 것이 최우선 목표이므로 소비 전력을 최소화하면서도 일상적인 연산을 빠르게 처리하도록 설계되었습니다.
6. HBM 활용 분야 순위 차트
HBM(고대역폭 메모리) 활용 분야 순위를 보면, 1위는 AI/ML 학습용 GPU(H100, MI300X 등)로 97%를 차지해 압도적 1위입니다. 대규모 모델 학습에 HBM의 초고속 대역폭이 필수이기 때문입니다. 2위는 AI 추론 서버·클라우드 가속기(89%)로, 실시간 응답이 중요한 추론 단계에서도 HBM 수요가 큽니다. 3위 HPC 슈퍼컴퓨터(75%)는 과학 시뮬레이션 등 전통적 고성능 컴퓨팅 영역입니다.
이어서 4위 데이터센터 네트워크 가속(스마트NIC)(60%), 5위 자율주행 AI 프로세서(48%), 6위 전문가용 AI 그래픽 워크스테이션(38%), 7위 차세대 온디바이스 AI 엣지칩(25%) 순입니다.
전체적으로 순위가 내려갈수록 비중이 급격히 줄어드는데, 이는 HBM 수요가 대규모 서버·데이터센터급 AI 인프라에 집중되어 있고, 온디바이스·엣지 영역은 아직 초기 단계임을 보여줍니다.
7. HBM 시장 점유율 &구조 (2025 상반기)
8. FAQ — 자주 묻는 질문
Q1. HBM과 일반 RAM(DDR5)의 가장 큰 차이는 무엇인가요?
DDR5가 64비트 버스로 데이터를 전송하는 반면, HBM3은 1,024비트 버스를 사용합니다. 버스 폭이 약 16배 넓기 때문에 같은 동작 주파수에서도 대역폭이 수십 배 높습니다. 단, 생산 단가가 매우 높아 AI GPU·HPC 전용으로 사용됩니다.
Q2. TSV(Through-Silicon Via)란 무엇인가요?
TSV는 실리콘 칩을 수직으로 관통하는 미세 구리 전극입니다. DRAM 다이를 여러 장 쌓고 각 다이를 TSV로 연결하면, 옆으로 배선할 때보다 전선 길이가 극적으로 줄어들어 신호 지연과 전력 소비가 함께 감소합니다.
Q3. HBM은 왜 AI 학습에 필수적인가요?
LLM처럼 수백억~수천억 개의 파라미터를 가진 모델을 학습할 때, GPU 연산 코어가 아무리 빨라도 메모리에서 데이터를 충분히 빨리 공급받지 못하면 코어가 대기(Memory Wall) 상태에 빠집니다. HBM의 초광대역 버스는 이 병목을 해소해 AI 연산 효율을 극대화합니다.
Q4. HBM3와 HBM3E의 차이는 무엇인가요?
HBM3E는 HBM3의 개선 버전(Extended)으로 동일한 물리 버스 폭(1,024bit)에서 전송 속도를 높여 대역폭이 819GB/s(HBM3)에서 1,280GB/s(HBM3E)로 약 56% 향상됩니다. 스택당 용량도 24GB에서 36GB로 늘어났으며, NVIDIA H200과 AMD MI325X에 탑재되었습니다.
Q5. 왜 HBM은 SK하이닉스가 압도적으로 앞서 있나요?
SK하이닉스는 2013년부터 AMD와 공동으로 HBM을 개발하며 약 10년의 선행 기술을 축적했습니다. TSV 공정 수율과 스택 정밀도에서 선도적인 위치를 유지하고 있으며, NVIDIA와 장기 공급 파트너십을 구축했습니다. 삼성과 마이크론도 추격 중이지만 수율과 납기에서 아직 격차가 있습니다.
Q6. HBM4에서 달라지는 점은 무엇인가요?
HBM4는 버스 폭을 기존 1,024비트에서 2,048비트로 2배 확장하고, 로직 다이(Logic Base Die)를 파운드리 첨단 공정으로 제조해 지능형 메모리 기능을 추가합니다. 목표 대역폭은 스택당 약 2TB/s이며, 2025~2026년 AI 차세대 가속기 탑재를 목표로 개발 중입니다.
- NAVI LAB 이였습니다.
