Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
1. H100, 대체 얼마길래
H100은 엔비디아의 호퍼(Hopper) 아키텍처 기반 데이터센터용 GPU로, ChatGPT 이후 생성형 AI 열풍의 핵심 부품입니다. 2026년 기준 가격은 구성에 따라 달라지는데, PCIe 버전은 개당 약 2만 5천 달러(약 3,600만 원)부터, 서버용 SXM 버전은 3만 5천 달러(약 5,000만 원) 이상까지 올라갑니다. 대량 구매(8대 이상) 시 10~15% 할인을 받을 수 있지만, 그래도 H100 8개를 장착한 AI 서버 한 대 가격은 3억~4억 원에 이릅니다.
일반 소비자용 그래픽카드가 200만~300만 원 선인 걸 감안하면, H100 한 대가 그 150배가 넘는 가격입니다. 대체 이 가격표 안에 뭐가 들어있길래 이렇게 비싼 걸까요.
2. 반도체 원가만 따지면 사실 몇만 원이다?
여기서 흥미로운 사실이 하나 있습니다. H100의 핵심 반도체 다이(die) 자체를 순수 제조원가로만 따지면, 판매가의 극히 일부에 불과합니다. TSMC의 최첨단 4나노 공정(엔비디아 전용 커스텀 공정 ‘4N’)으로 찍어낸 웨이퍼 한 장의 원가는 수만 달러 수준이고, 여기서 나오는 칩(다이) 개수를 나누면 칩 하나당 순수 제조원가는 수백 달러 대라는 게 업계 추정입니다.
그런데 실제 판매가는 이보다 수십~수백 배 비쌉니다. 명품 가방의 원단·가죽 원가와 매장 판매가 차이를 떠올리면 감이 오실 텐데, 반도체도 마찬가지입니다. “칩 하나를 찍어내는 값”과 “그 칩이 실제로 완성품으로 팔리는 값” 사이에는 메모리, 패키징, 검증, 소프트웨어, 그리고 시장 프리미엄이라는 여러 겹의 비용과 마진이 쌓여 있는 것입니다.
3. 진짜 비싼 이유 5가지
① HBM 메모리 원가 — 칩보다 비싼 경우도 있다
H100에는 80GB짜리 HBM3 메모리가 탑재돼, 초당 3.35TB의 데이터를 처리합니다. 이 HBM은 웨이퍼 여러 장을 수직으로 쌓아 만드는 고난도 제품이라, 일반 D램보다 가격이 훨씬 비쌉니다. 2026년 들어 AI 수요 폭증으로 HBM·D램 가격 자체가 급등하면서(D램 계약가가 전년 대비 최대 6배까지 뛰었다는 보도도 있었습니다), GPU 원가 부담이 한층 더 커진 상황입니다.
② 첨단 패키징(CoWoS) 병목
GPU 다이와 HBM 메모리를 하나로 합치는 ‘CoWoS’라는 첨단 패키징 공정이 필요한데, 이 공정을 할 수 있는 곳이 전 세계적으로 극히 제한적입니다. 아무리 칩을 많이 찍어내도 이 패키징 단계에서 병목이 걸리면 완성품 생산량 자체가 늘지 못합니다. 공급이 제한되니 가격은 자연히 높은 수준을 유지합니다.
③ R&D와 소프트웨어 생태계 비용
H100 가격에는 단순히 하드웨어값만 들어있는 게 아닙니다. CUDA로 대표되는 20년 치 소프트웨어 생태계, NVLink 같은 자체 연결 기술, 검증된 드라이버와 라이브러리까지 함께 ‘패키지’로 팔리는 셈입니다. (이 소프트웨어 해자에 대해서는 앞서 다룬 CUDA 관련 글에서 더 자세히 다뤘습니다.)
④ 압도적인 공급 부족
2023년 챗GPT 등장 이후 지금까지, H100에 대한 수요가 공급을 계속 앞질러 왔습니다. 심지어 2026년 들어 차세대 블랙웰 GPU가 나왔음에도, 블랙웰 자체의 납기가 밀리면서 오히려 구형 H100의 임대 가격이 최근 6개월 새 40% 급등하는 기현상까지 벌어졌습니다. “신제품이 나오면 구형이 싸진다”는 일반적인 IT 제품 공식이 통하지 않는 시장인 겁니다.
⑤ 엔비디아의 독점적 마진
GPU 시장에서 80% 이상을 차지하는 엔비디아는, 대체재가 마땅치 않은 상황에서 가격 결정권을 사실상 독점하고 있습니다. 원가 상승분을 전가하는 걸 넘어, 수요 초과 상황 자체를 마진으로 흡수하는 구조라는 게 업계의 대체적인 평가입니다.
4. H100 vs 경쟁 칩 가격 비교표
| 구분 | 엔비디아 H100 | AMD MI300X | 엔비디아 A100(구형) |
|---|---|---|---|
| 가격대(개당) | 약 4,000만~5,000만 원 | 약 2,800만~3,000만 원 | 약 1,300만 원 |
| 메모리 | 80GB HBM3, 3.35TB/s | 192GB HBM3 | 80GB HBM2e |
| 소프트웨어 생태계 | CUDA(압도적 우위) | ROCm(추격 중) | CUDA |
| 8GPU 서버 가격 | 약 3억~4억 원 | 상대적으로 저렴 | 약 1억 원대 |
| 2026년 공급 상황 | 여전히 공급 부족, 임대가 급등 | 상대적으로 여유 | 구형화, 재고 소진 중 |
5. 앞으로 가격은 내려갈까
업계 전망은 엇갈립니다. 일부 분석에서는 2027년까지 H100 가격이 10~20% 정도 하락할 것으로 내다봅니다. 신형 블랙웰 GPU 생산이 정상화되면 자연스럽게 구형 라인업의 가격 매력이 떨어질 거라는 논리입니다.
하지만 2026년 상반기 현재 상황은 정반대로 흐르고 있습니다. 바이트댄스, 구글 같은 기업들의 생성형 AI 서비스 사용량이 예상보다 훨씬 빠르게 늘면서, 블랙웰 신형 GPU조차 납기가 2026년 중반까지 밀린 상태입니다. 그 여파로 오히려 구형 H100·H200에 대한 수요가 다시 몰리며 임대 가격이 급등하는 역설적 상황이 벌어지고 있습니다. 게다가 이 여파가 HBM·D램 공급 타이트 심화로 이어지면서, 삼성전자·SK하이닉스 같은 메모리 기업들이 구조적 수혜를 보는 흐름도 함께 이어지고 있습니다.
결국 GPU 가격의 향방은 ① 신형 칩 생산이 얼마나 빨리 정상화되는지, ② AI 서비스 수요가 언제쯤 정점을 찍는지, 이 두 가지 변수에 달려 있습니다.
❓ FAQ
Q1. H100 가격이 왜 이렇게 자꾸 오르내리나요?
공급(생산량·패키징 능력)과 수요(AI 서비스 사용량)의 불균형이 심하기 때문입니다. 신제품이 나와도 그 자체의 공급이 부족하면 오히려 구형 제품 수요가 다시 몰려 가격이 오르는 경우도 생깁니다.
Q2. H100 살 돈이면 순금을 사는 게 나을까요?
비유하자면 그만큼 비싸다는 뜻이지만, H100은 소모품이 아니라 AI 서비스를 실제로 돌려 수익을 내는 생산 설비에 가깝습니다. 가격 자체보다는 이 장비로 얼마나 많은 부가가치를 만들어낼 수 있는지가 구매 판단의 핵심입니다.
Q3. AMD 칩은 왜 더 싼데 시장 점유율이 낮나요?
가격은 저렴하지만 CUDA 같은 검증된 소프트웨어 생태계가 부족해 기존 코드를 이식하는 데 시간과 리스크가 듭니다. 이 전환 비용 때문에 가격 차이에도 불구하고 엔비디아 쏠림 현상이 이어지고 있습니다.
Q4. HBM 메모리가 GPU 가격에 얼마나 영향을 미치나요?
상당한 비중을 차지합니다. 2026년 HBM·D램 가격 자체가 급등하면서, GPU 제조사들의 원가 부담이 커지고 이는 곧 최종 판매가·임대가 상승으로 이어지고 있습니다.
Q5. 개인이나 소규모 스타트업도 H100을 살 수 있나요?
구매도 가능하지만, 많은 스타트업은 초기 투자 부담을 줄이기 위해 클라우드 업체를 통한 시간 단위 임대(GPU 렌탈) 방식을 더 많이 이용합니다.
Q6. 왜 H100 패키징이 병목이 되나요?
GPU 다이와 HBM 메모리를 하나로 결합하는 첨단 패키징(CoWoS) 공정이 소수의 설비에서만 가능해, 아무리 칩 생산을 늘려도 이 단계에서 전체 생산량이 제한되기 때문입니다.
Q7. 2027년에는 GPU 가격이 확실히 내려가나요?
일부 전망은 10~20% 하락을 제시하지만, AI 서비스 수요 증가 속도와 신형 칩 생산 정상화 시점에 따라 얼마든지 달라질 수 있는 유동적인 전망입니다.
마무리 요약
H100이 5천만 원에 달하는 이유는 단순히 “반도체가 원래 비싸서”가 아닙니다. 값비싼 HBM 메모리, 소수만 가능한 첨단 패키징, 20년 치 소프트웨어 생태계라는 무형의 가치, 그리고 무엇보다 압도적인 수요 초과 상황이 겹겹이 쌓인 결과입니다. 2026년 현재도 신형 블랙웰 GPU의 납기 지연으로 구형 H100 가격까지 함께 오르는 역설적 상황이 이어지고 있어, 이 가격표는 앞으로도 당분간 쉽게 내려가지 않을 가능성이 큽니다.
