Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
1. NPU, 한 줄로 말하면 뭔가
컴�다 안에는 원래 두 종류의 두뇌가 있었습니다. 온갖 일을 두루 처리하는 CPU, 그리고 그래픽처럼 같은 계산을 대량으로 반복하는 데 특화된 GPU입니다. 그런데 여기에 세 번째 두뇌가 새로 추가됐습니다. 바로 **NPU(Neural Processing Unit, 신경망 처리 장치)**입니다.
NPU는 AI 모델이 수행하는 특정한 종류의 계산, 그중에서도 행렬 곱셈 연산 하나만 파고들어 최적화한 전용 반도체입니다. 비유하자면 CPU는 회사의 모든 잡무를 처리하는 만능 총무, GPU는 같은 작업을 동시에 수천 명이 나눠 처리하는 대량생산 공장이라면, NPU는 오직 통역만 전담하는 전문 통역사입니다. 통역 하나만 시키면, 총무나 공장 라인을 굳이 붙잡아둘 필요 없이 훨씬 적은 힘으로 훨씬 빠르게 처리할 수 있는 것과 같은 이치입니다.
이 NPU 덕분에 인터넷 연결 없이도 내 노트북이나 스마트폰 안에서 AI가 작동하는 ‘온디바이스 AI’가 가능해졌습니다. 실시간 번역, 배경 흐림, 문서 요약 같은 기능들이 클라우드 서버를 거치지 않고 기기 안에서 바로 처리되는 겁니다.
2. TOPS, 숫자만 믿으면 안 되는 이유
AI PC를 사려고 스펙표를 보면 가장 먼저 눈에 띄는 숫자가 **TOPS(Tera Operations Per Second)**입니다. 초당 1조 번의 연산을 처리한다는 뜻으로, 과거 CPU를 GHz(기가헤르츠)로 평가했듯 이제는 이 TOPS 수치로 AI PC의 등급을 가늠합니다.
그런데 여기서 소비자들이 흔히 빠지는 함정이 있습니다. TOPS는 어디까지나 ‘단순 연산 속도’를 나타낼 뿐, 그 기기가 실제로 얼마나 똑똑하게 작동하는지를 보장하지 않습니다. 같은 TOPS 수치라도 소프트웨어 최적화 수준에 따라 체감 속도가 크게 달라집니다. 실제로 업계에서는 “숫자상으로는 AMD나 인텔이 앞서 보여도, 실제 체감 속도는 마이크로소프트와의 협력이 잘 된 인텔·퀄컴 칩셋이 특정 기능에서 더 빠릿하게 느껴지는 경우도 있다”는 평가가 나옵니다. 즉 TOPS는 참고 지표일 뿐, 절대적인 성능 서열표는 아니라는 뜻입니다.
3. NPU는 왜 CPU·GPU와 따로 필요한가 (하드웨어 구조 변화)
예전에는 화상 회의 중 배경을 흐리게 처리하는 작업을 CPU가 도맡았습니다. 이러면 노트북이 뜨거워지고 팬 소음이 커지며 배터리가 빠르게 닳습니다. AI 연산은 원래 CPU가 잘하는 방식(순차적, 복잡한 분기 처리)과 결이 다른, 단순한 계산을 엄청나게 많이 반복하는 작업이기 때문입니다.
이 작업을 NPU가 전담하면 상황이 달라집니다. 실측 자료에 따르면 NPU는 7~12W의 전력만으로 40~45 TOPS의 추론 성능을 내는 반면, 같은 작업을 GPU로 처리하면 20~50W까지 전력이 치솟습니다. 전력 소비를 최대 70%까지 줄이면서도 비슷한 지연시간(15~25ms 수준)을 유지할 수 있는 겁니다.
이게 바로 2026년 AI PC 하드웨어의 핵심 변화입니다. “CPU 성능을 높이는 이유가 게임이나 무거운 프로그램 때문”이었던 과거와 달리, 지금은 전력 효율 때문에 칩셋 성능을 따집니다. NPU가 AI 작업을 전담하는 동안 CPU와 GPU는 쉴 수 있고, 그 결과 노트북은 차갑게 유지되고 배터리는 오래갑니다. TOPS 수치가 높은 모델을 산다는 건 결국 “조용하고 오래가는 작업 환경”을 사는 것과 같습니다.
4. 2026년 온디바이스 칩셋 3파전 비교표
| 칩셋 | 제조사 | NPU 성능(TOPS) | 전력 소비 | 특징 |
|---|---|---|---|---|
| 코어 울트라(노바레이크 등) | 인텔 | 약 40 TOPS | 약 10~12W | 델·HP·레노버 등 폭넓은 OEM 지원, MS와 협력 강점 |
| 라이젠 AI 7 350 / 400시리즈 | AMD | NPU 45~50 TOPS(총 AI 성능 66 TOPS) | 약 8~10W | 전력 효율 우선 설계, NPU+GPU+CPU 합산 성능 강조 |
| 스냅드래곤 X 엘리트 / X2 | 퀄컴 | 42~45 TOPS(최신 X2는 80 TOPS급) | 약 9~11W | ARM 기반 유연성, MS 서피스 시리즈 채택 |
| 엑시노스 2600 | 삼성전자 | 갤럭시 S26 기본형·플러스 탑재 | – | 2나노 GAA 공정 최초 상용 적용, AMD RDNA4 기반 GPU ‘JUNO’ 탑재 |
| 스냅드래곤 8 엘리트 5세대 | 퀄컴 | 갤럭시 S26 울트라 탑재 | – | 플래그십 성능 안정성 우선, 삼성이 최상위 모델에 단독 유지 |
이 표에서 눈에 띄는 지점은, 삼성전자가 갤럭시 S26에서 기본형·플러스에는 자체 칩(엑시노스), 최상위 울트라에는 여전히 퀄컴 칩을 쓰는 이원화 전략을 택했다는 겁니다. 부품 비용 절감(엑시노스)과 플래그십 성능 안정성 확보(퀄컴)라는 두 목표를 동시에 노린 것으로 풀이됩니다.
5. 왜 지금 온디바이스 AI가 뜨는가
온디바이스 AI가 확산되는 이유는 단순히 하드웨어 트렌드 때문만은 아닙니다. 실질적인 이유는 비용과 보안입니다.
오픈AI, 마이크로소프트, 구글 같은 빅테크들이 클라우드로 AI 연산을 제공하려면 막대한 데이터센터 전력과 GPU 비용이 듭니다. (이 부분은 앞서 다룬 데이터센터·H100 관련 글에서 자세히 짚었습니다.) 반면 연산 자체를 사용자의 기기 안에서 처리하게 하면, 이 비용 부담을 크게 줄일 수 있습니다.
보안 측면에서도 장점이 뚜렷합니다. 온디바이스 AI는 데이터를 클라우드 서버로 전송하지 않고 기기 내부에서 즉시 처리하기 때문에, 기업 기밀이나 개인정보가 외부로 유출될 위험이 줄어듭니다. 인터넷이 제한된 환경에서도 AI 기능을 그대로 쓸 수 있다는 것도 장점입니다.
여기에 최근 마이크로소프트가 공개한 ‘1.58비트 양자화(비트넷)’ 같은 경량화 기술도 이 흐름에 힘을 보태고 있습니다. 이 기술을 적용하면 1,000억 개 매개변수 규모의 대형 AI 모델을 구동하는 데 필요한 메모리를 32~64GB 수준으로, 저장공간은 158GB에서 20GB까지 줄일 수 있습니다. 320억 개 매개변수급 모델은 8GB 수준의 저사양 노트북에서도 돌아갈 수 있을 정도입니다. 하드웨어(NPU)와 소프트웨어(경량화 기술) 양쪽이 함께 발전하며 온디바이스 AI의 문턱을 낮추고 있는 셈입니다.
6. 2026년 시장 현황과 전망
시장조사기관 IDC는 2026년 전체 PC 출하량 중 **53~60%**가 AI PC로 판매될 것으로 전망합니다. 2024년 초기 도입기를 지나 2025년 30~40%대까지 확산됐던 흐름이, 2026년 들어 시장의 절반을 넘어서는 표준으로 자리 잡는 셈입니다.
투자·산업 관점에서도 이 흐름은 중요합니다. 삼성증권에 따르면 향후 3년간 스마트폰 약 3억 900만 대, PC 약 1억 8,000만 대가 온디바이스 AI 기기로 공급될 전망이며, 이를 고려하면 2026년 기준 모바일·PC 중심 시스템반도체 시장에서만 약 25조 8,000억 원의 부가가치가 새로 발생할 것으로 추산됩니다. 인텔·AMD·퀄컴의 PC용 NPU 경쟁뿐 아니라, 삼성전자·애플 같은 모바일 AP 제조사들의 자체 NPU 경쟁까지 겹치며, 온디바이스 AI 칩셋은 2026년 반도체 산업에서 GPU·HBM 못지않은 핵심 격전지로 부상하고 있습니다.
❓ FAQ
Q1. NPU 없이도 AI 기능을 쓸 수 있나요?
네, 클라우드 기반 AI 기능은 NPU가 없어도 인터넷 연결만 있으면 사용할 수 있습니다. 다만 최신 온디바이스 AI 기능(오프라인 실시간 번역 등)은 일정 TOPS 이상의 NPU를 기준으로 설계돼, 구형 PC에서는 일부 기능이 제한될 수 있습니다.
Q2. TOPS 수치가 높으면 무조건 좋은 건가요?
꼭 그렇지는 않습니다. TOPS는 단순 연산 속도 지표일 뿐이며, 실제 체감 성능은 운영체제·소프트웨어의 최적화 수준에 따라 달라질 수 있습니다.
Q3. 코파일럿+ PC 인증 기준이 뭔가요?
마이크로소프트가 정한 기준으로, NPU 40 TOPS 이상, 메모리 16GB 이상, 저장공간 256GB 이상을 충족해야 합니다.
Q4. 삼성전자는 왜 갤럭시 S26에서 칩셋을 이원화했나요?
기본형·플러스에는 자체 칩(엑시노스)을 써서 부품 비용을 절감하고, 최상위 울트라 모델에는 검증된 퀄컴 칩을 유지해 플래그십 성능 안정성과 브랜드 신뢰도를 지키려는 전략으로 풀이됩니다.
Q5. 온디바이스 AI가 클라우드 AI보다 항상 나은가요?
아닙니다. 온디바이스 AI는 저지연·보안·오프라인 사용에 강점이 있지만, 매우 크고 복잡한 AI 모델의 고차원적 추론은 여전히 클라우드 서버가 유리합니다. 실제로 대부분의 AI PC는 클라우드와 로컬 연산을 상황에 맞게 오가는 ‘하이브리드 AI’ 구조로 설계되고 있습니다.
Q6. NPU 성능이 앞으로 어디까지 올라갈까요?
2026년 상반기 기준 40~50 TOPS대가 주류지만, 마이크로소프트 서피스 신제품에 탑재된 퀄컴 스냅드래곤 X2는 이미 80 TOPS급 NPU를 갖춰, 상단 라인업의 성능 경쟁이 계속 가속화되는 추세입니다.
Q7. 양자화 기술(비트넷)은 NPU와 무슨 관계가 있나요?
양자화는 AI 모델의 데이터를 더 적은 비트로 압축해 메모리·연산량을 줄이는 소프트웨어 기술입니다. NPU라는 하드웨어와 양자화라는 소프트웨어 기술이 함께 발전하면서, 더 큰 AI 모델을 더 저사양 기기에서도 돌릴 수 있는 길이 열리고 있습니다.
마무리 요약
AI PC 시대의 진짜 하드웨어 변화는 CPU와 GPU 옆에 세 번째 전용 두뇌, NPU가 자리 잡았다는 점입니다. 40~80 TOPS급 NPU들은 GPU 대비 최대 70% 적은 전력으로 AI 연산을 처리하며, “속도”가 아니라 “조용하고 오래가는 작업 환경”이라는 새로운 가치를 만들어내고 있습니다. 2026년 인텔·AMD·퀄컴의 PC용 NPU 3파전과 삼성전자·애플의 모바일 AP 경쟁이 겹치며, 온디바이스 AI 칩셋은 25조 원 규모의 새로운 반도체 격전지로 떠올랐습니다. 다만 TOPS 수치는 참고 지표일 뿐 절대적인 성능 서열이 아니라는 점을 기억하고, 실제 소프트웨어 최적화와 사용 목적에 맞는 칩셋을 살펴보는 것이 현명한 선택의 출발점입니다.
