1. 둘 다 병렬 처리를 잘하는데, 왜 따로 필요한가
NPU와 GPU 모두 CPU를 보완하는 프로세서이고, 둘 다 ‘병렬 처리’에 강하다는 공통점이 있습니다. 그래서 “GPU만으로 AI를 다 돌릴 수 있는데 NPU가 왜 따로 필요하지?”라는 의문이 자연스럽게 생깁니다.
핵심적인 차이는 **”범용성을 얼마나 포기하고 추론 효율에 집중했는가”**에 있습니다. GPU는 그래픽 렌더링부터 과학 연산, AI 학습까지 다양한 작업을 넓게 잘하도록 설계됐습니다. 반면 NPU는 애초에 신경망의 학습·추론, 그중에서도 특히 ‘곱셈과 누적’이라는 딱 한 가지 연산 패턴을 극도로 잘하도록 설계된 전용 하드웨어입니다.
2. 구조적 차이 – GPU의 SIMT vs NPU의 시스톨릭 어레이
GPU: SIMT 방식
GPU는 수천 개의 코어(CUDA 코어 등)가 SIMT(Single Instruction, Multiple Threads) 방식으로 동작합니다. 하나의 명령어를 수천 개의 스레드가 동시에 실행하는 구조로, 마치 한 명의 지휘자가 수천 명의 연주자에게 똑같은 악보를 동시에 나눠주고 각자 연주하게 하는 것과 비슷합니다. 이 범용성 덕분에 그래픽, 과학 연산, AI까지 폭넓게 처리할 수 있습니다.
NPU: 시스톨릭 어레이 방식
NPU는 완전히 다른 방식을 씁니다. **시스톨릭 어레이(Systolic Array)**라는 구조가 핵심인데, 연산 유닛(PE, Processing Element)들이 바둑판 격자처럼 배열돼 있고, 데이터가 심장 박동(systole)처럼 규칙적으로 한 방향으로 흐르면서 각 유닛을 거칠 때마다 곱셈-누적(MAC) 연산을 수행합니다.
비유하자면 GPU는 수천 명이 각자 독립적으로 연주하는 오케스트라라면, NPU는 컨베이어 벨트 위에서 부품(데이터)이 흐르는 동안 각 작업자(연산 유닛)가 정해진 딱 한 가지 조립 작업(곱셈-누적)만 반복하는 자동화 생산라인에 가깝습니다. 신경망 연산이 실제로 이런 ‘반복되는 곱셈-누적’의 연속이기 때문에, 이 구조가 훨씬 효율적으로 맞아떨어지는 겁니다.
3. 왜 NPU가 훨씬 적은 전력을 쓰는가
NPU가 에너지 효율에서 앞서는 이유는 시스톨릭 어레이 구조 하나만이 아닙니다. 세 가지 요소가 함께 작용합니다.
- 전용 연산 유닛: 신경망의 학습과 추론에 필수적인 곱셈-누적 연산만을 위한 전용 하드웨어를 갖추고 있어, 불필요한 범용 회로가 없습니다.
- 고속 온칩 메모리(스크래치패드 메모리): 데이터가 칩 바깥 메모리까지 오가는 과정에서 생기는 병목을 최소화하기 위해, 모델 데이터와 가중치에 빠르게 접근할 수 있는 고속 메모리를 칩 안에 직접 갖추고 있습니다.
- 데이터플로우 아키텍처: 데이터가 한 번 칩에 들어오면 여러 연산 유닛을 거치며 최대한 재사용되도록 설계돼, 같은 데이터를 반복해서 불러오는 낭비를 줄입니다.
정리하면, NPU는 GPU가 가진 범용성을 의도적으로 포기하는 대신, 신경망 연산이라는 한 가지 목적에 회로 하나하나를 맞춤 설계해 에너지 효율을 극대화한 결과물입니다.
4. PC를 넘어선 온디바이스 AI – 스마트폰부터 수술 로봇까지
NPU 이야기가 노트북에만 국한된다고 생각하기 쉬운데, 실제로는 훨씬 넓은 영역에서 쓰이고 있습니다. 홈 어시스턴트 스피커부터 자동화된 수술 도구에 이르기까지, AI 기반 로보틱 기기들은 NPU를 활용해 주변 환경을 감지하고, 학습하고, 실시간으로 반응하는 능력을 갖추고 있습니다.
NPU가 실제로 탑재되는 방식도 기기에 따라 다릅니다. 대규모 데이터센터에서는 메인보드에 직접 연결된 독립형 NPU를 쓰는 경우가 있지만, 스마트폰·모바일 기기·노트북 같은 대부분의 소비자 기기에서는 CPU, GPU 등 다른 프로세서와 함께 하나의 반도체 칩(SoC, System on Chip)에 통합된 형태로 들어갑니다. 이렇게 전용 NPU를 통합하면 제조사들은 상대적으로 낮은 전력 소비로도 생성형 AI 기능을 실시간으로 처리하는 기기를 만들 수 있게 됩니다.
5. NPU vs GPU vs CPU 한눈에 정리
| 구분 | CPU | GPU | NPU |
|---|---|---|---|
| 설계 철학 | 범용, 순차 처리에 강함 | 범용 병렬 처리(SIMT) | 신경망 연산 전용(시스톨릭 어레이) |
| 강점 | 복잡한 분기 처리, 다양한 작업 | 그래픽, 대규모 병렬 연산 전반 | AI 추론·학습, 에너지 효율 |
| 약점 | 병렬 처리에 취약 | 상대적으로 높은 에너지 소비 | 범용성이 낮음(AI 외 작업엔 부적합) |
| 대표 활용처 | 운영체제 실행, 일반 연산 | 게임, 3D 렌더링, AI 학습 | 온디바이스 AI 추론, 실시간 반응 |
여기서 중요한 건, 셋을 놓고 “누가 더 뛰어나냐”를 가리는 게 아니라는 점입니다. CPU, GPU, NPU는 성능을 경쟁하는 관계가 아니라, 각기 다른 워크로드에 최적화된 역할을 나눠 맡는 구조로 이해하는 것이 정확합니다.
6. 다음 단계 – AI 가속기의 세분화
기술은 여기서 멈추지 않고 더 세분화되는 방향으로 가고 있습니다. 최근 연구에서는 AI 모델이 텍스트를 처리하는 단계(Prefill)와 답변을 생성하는 단계(Decode)를 서로 다른 하드�웨어에서 나눠 처리하는 방식을 넘어, 트랜스포머 모델 내부의 **어텐션(Attention)**과 **FFN(피드포워드 네트워크)**을 각각 다른 가속기에서 처리하는 ‘AFD(Attention-FFN Disaggregation)’ 구조까지 제안되고 있습니다.
즉 앞으로의 AI 인프라는 “GPU와 NPU를 그냥 나란히 쓰는” 수준을 넘어, 연산의 성격에 따라 여러 종류의 전용 가속기를 정교하게 조합하는 방향으로 발전할 것으로 전망됩니다.
❓ FAQ
Q1. NPU가 GPU보다 무조건 더 좋은 건가요?
아닙니다. NPU는 신경망 연산이라는 특정 작업에 최적화된 대신 범용성이 낮고, GPU는 다양한 작업을 넓게 처리할 수 있는 대신 AI 추론만 놓고 보면 상대적으로 비효율적입니다. 용도에 따라 우열이 갈립니다.
Q2. 시스톨릭 어레이가 정확히 뭔가요?
연산 유닛들이 격자 형태로 배열돼, 데이터가 한 방향으로 흐르면서 각 유닛을 거칠 때마다 곱셈과 누적 연산을 반복하는 하드웨어 구조입니다. 신경망 연산의 핵심인 행렬 곱셈을 매우 효율적으로 처리할 수 있게 설계됐습니다.
Q3. 스마트폰에도 NPU가 들어있나요?
네, 대부분의 최신 스마트폰은 CPU·GPU와 함께 NPU가 하나의 칩(SoC)에 통합된 형태로 탑재돼 있습니다. 카메라 보정, 음성 인식 같은 기능에 활용됩니다.
Q4. NPU가 없으면 온디바이스 AI를 아예 못 쓰나요?
GPU나 CPU로도 처리는 가능하지만, 전력 소비가 훨씬 크고 발열도 심해집니다. NPU가 있으면 같은 작업을 훨씬 적은 배터리 소모로 처리할 수 있습니다.
Q5. NPU는 왜 로봇이나 수술 도구에도 쓰이나요?
실시간으로 주변 환경을 감지하고 즉각 반응해야 하는 기기일수록, 클라우드로 데이터를 보내 처리하는 것보다 기기 안에서 바로 처리하는 게 훨씬 빠르고 안전하기 때문입니다.
Q6. TPU는 NPU와 같은 건가요?
TPU(Tensor Processing Unit)는 구글이 만든 NPU의 한 종류로 볼 수 있습니다. TPU 역시 시스톨릭 어레이 구조를 활용해 행렬 곱셈을 가속화한다는 점에서 NPU와 설계 철학이 비슷합니다.
Q7. 앞으로 GPU가 사라지고 NPU로 완전히 대체되나요?
그럴 가능성은 낮습니다. AI 학습처럼 유연성이 중요한 작업에는 여전히 GPU가 강점을 갖고, 추론처럼 효율이 중요한 작업에는 NPU가 강점을 갖는 구조로 당분간 역할을 나눠 공존할 것으로 전망됩니다.
마무리 요약
NPU와 GPU는 둘 다 병렬 처리에 강하지만, 설계 철학 자체가 다릅니다. GPU는 SIMT 방식으로 범용성을 확보한 반면, NPU는 시스톨릭 어레이라는 독특한 구조로 범용성을 포기하는 대신 신경망 연산에 극도로 최적화된 효율을 얻었습니다. 이 차이 덕분에 NPU는 노트북을 넘어 스마트폰, 자동차, 심지어 자동화 수술 도구까지 실시간 반응이 필요한 거의 모든 온디바이스 AI 기기의 핵심 부품으로 자리 잡고 있습니다. 앞으로는 GPU와 NPU를 단순히 나란히 쓰는 것을 넘어, 연산 특성에 따라 여러 전용 가속기를 정교하게 조합하는 방향으로 AI 인프라가 진화할 전망입니다.
