작년만 해도 AI 뉴스는 온통 “어떤 모델이 더 크고, 더 똑똑한가”였다. GPT가 어쩌고, 제미나이가 어쩌고, 누가 더 많은 데이터로 학습시켰는지가 관심사였다. 그런데 요즘 업계 리포트를 보면 분위기가 확 달라졌다. 다들 “추론(Inference)”이라는 단어를 입에 달고 산다. 딜로이트는 2026년 AI 컴퓨팅 파워의 약 3분의 2가 추론에 쓰일 거라고 내다봤고, 엔비디아 실적 발표에서도 학습용 매출보다 추론용 매출 비중이 눈에 띄게 늘고 있다는 얘기가 나온다.
그래서 오늘은 이 “추론”이라는 게 대체 뭔지, 그리고 왜 갑자기 학습보다 더 중요한 시장으로 떠올랐는지 최대한 쉽게 풀어보려 한다.
AI 추론이 뭐길래 이렇게 다들 떠드는 걸까
간단히 말하면 이렇다. AI 모델을 만드는 과정은 크게 두 단계로 나뉜다. 하나는 ‘학습(Training)’이고, 다른 하나는 ‘추론(Inference)’이다.
학습은 말 그대로 AI가 공부하는 과정이다. 방대한 텍스트와 이미지, 데이터를 모델에 집어넣고 패턴을 익히게 만드는 단계다. 여기엔 어마어마한 GPU 클러스터와 전력, 시간이 든다. 흔히 언론에서 “몇 조 원을 쏟아부어 모델을 학습시켰다”고 하는 게 바로 이 단계 얘기다.
추론은 그렇게 공부를 마친 모델이 실전에 투입되는 단계다. 우리가 챗봇에 질문을 던지고 답을 받거나, 이미지를 생성하거나, AI 비서가 이메일 초안을 써주는 그 모든 순간이 사실은 추론이다. 즉 학습이 ‘준비 운동’이라면 추론은 ‘실제 경기’인 셈이다.
문제는 이 실제 경기가 한 번으로 끝나지 않는다는 데 있다. 학습은 모델 하나당 몇 달에 걸쳐 한 번, 혹은 몇 번 진행되면 그만이지만, 추론은 그 모델을 서비스하는 한 하루에도 수백만, 수억 번씩 반복된다. 사용자가 한 명 더 늘어날 때마다, 질문 하나가 더 던져질 때마다 연산이 추가로 필요하다.
2026년, 추론이 AI 컴퓨팅의 3분의 2를 차지하는 이유
몇 년 전까지만 해도 업계의 화두는 “누가 더 좋은 모델을 학습시키느냐”였다. 하지만 지금은 다르다. 이유는 크게 세 가지로 정리할 수 있다.
첫째, 서비스 사용자가 폭발적으로 늘었다. 챗GPT, 제미나이, 클로드 같은 서비스의 이용자가 전 세계적으로 수억 명 단위가 되면서, 이들이 매일 던지는 질문에 답하는 데 필요한 연산량이 학습 단계와는 비교가 안 될 정도로 커졌다. 모델은 한 번 학습시키면 끝이지만, 서비스는 매초 실행돼야 한다.
둘째, ‘에이전틱 AI’의 등장이다. 요즘 AI는 단순히 질문에 답만 하지 않는다. 스스로 계획을 세우고, 여러 단계를 거쳐 작업을 수행하고, 필요하면 다른 도구를 불러다 쓴다. 이런 에이전트형 작업은 한 번의 요청에도 내부적으로 수십 번의 추론을 반복하는 경우가 많다. 결과적으로 같은 사용자 한 명이라도 예전보다 훨씬 많은 연산 자원을 소비하게 됐다.
셋째, 실제 돈이 되는 지점이 추론이기 때문이다. 학습은 비용만 발생시키는 투자 단계지만, 추론은 서비스 이용료나 API 호출량으로 직접 매출과 연결된다. 기업 입장에서 “AI로 돈을 번다”는 건 결국 얼마나 많은 추론을 얼마나 저렴하고 빠르게 처리하느냐의 싸움이다. 실리콘밸리에서 요즘 인프라 투자가 학습용 슈퍼컴퓨터보다 대규모 데이터센터, 즉 추론을 안정적으로 감당할 인프라 쪽으로 옮겨가는 것도 같은 맥락이다. 실제로 전 세계 AI 인프라 투자 규모는 2028년까지 3조 달러 수준에 이를 것이라는 전망도 나온다.
엔비디아 독주 속에서 벌어지는 추론 반도체 전쟁
추론 시장이 커지면서 반도체 업계 지형도 요동치고 있다. 원래 엔비디아는 학습용 GPU로 시장을 장악했는데, 최근에는 추론용 칩 시장에서도 지배력을 더 넓혀가는 모양새다. 업계 조사에 따르면 엔비디아의 AI 추론 칩 시장 점유율은 1년 사이 66%에서 74%까지 올라갔다고 한다. 전체 추론 칩 시장 규모가 분기 기준 560억 달러에 육박하는데, 그중 상당 부분을 엔비디아가 가져가고 있는 셈이다.
당연히 다른 빅테크들도 가만있지 않는다. 구글은 자체 개발한 TPU를, 아마존은 인퍼렌시아를, 마이크로소프트는 마이아를, 메타는 MTIA라는 자체 칩을 각각 추론 전용으로 밀고 있다. 최근엔 바이트댄스가 퀄컴의 데이터센터용 맞춤 반도체를 대량으로 구매했다는 소식도 전해졌다. 국내에서도 리벨리온, 퓨리오사AI 같은 스타트업이 데이터센터용 추론 반도체를, 딥엑스와 모빌린트가 엣지·비전 AI 분야를 공략하며 엔비디아의 대안을 만들어보려 애쓰고 있다.
왜 다들 학습용 칩이 아니라 추론용 칩에 뛰어드는 걸까. 이유는 단순하다. 학습은 몇몇 초대형 기업만 감당할 수 있는 영역이지만, 추론은 모든 서비스 기업이 매일, 대량으로 필요로 하는 ‘소모품’ 같은 존재이기 때문이다. 시장의 크기 자체가 다르다.
추론 시장이 커지면 우리 삶은 어떻게 달라질까
추론 중심으로 산업이 재편된다는 건 단순히 반도체 회사들의 이야기가 아니다. 우리가 체감하는 변화도 꽤 크다.
가장 먼저 눈에 띄는 건 AI 사용 비용이 점점 저렴해지고 있다는 점이다. 추론을 더 싸고 빠르게 처리하는 기술, 예를 들어 모델 경량화나 양자화 같은 기법이 발전하면서 예전보다 훨씬 적은 비용으로 같은 성능을 낼 수 있게 됐다. 이는 결국 사용자에게 더 저렴한 요금이나 무료 기능 확대로 돌아온다.
두 번째는 응답 속도다. 추론 인프라가 지역별로, 그리고 엣지 기기 단위로까지 퍼지면서 스마트폰이나 노트북에서도 어느 정도 수준의 AI 연산을 즉시 처리할 수 있는 환경이 갖춰지고 있다. 클라우드까지 왕복하지 않고 기기 안에서 바로 처리되니 반응이 훨씬 빨라진다.
세 번째는 산업 구조 변화다. 가트너가 발표한 2026년 전략 기술 트렌드 상위 10개 중 6개가 AI 관련 주제로 꼽힐 만큼, 이제 AI는 IT 업계만의 화두가 아니라 제조, 금융, 헬스케어 등 거의 모든 산업의 핵심 인프라로 자리 잡고 있다. 그리고 그 인프라의 실체는 결국 하루하루 돌아가는 추론 서버들이다.
추론 비용을 낮추기 위한 기술 경쟁도 뜨겁다
추론 시장이 커질수록 기업들의 고민은 하나로 모인다. “어떻게 하면 이 많은 연산을 더 싸게, 더 빠르게 처리할까.” 그래서 요즘 AI 업계에서는 모델을 무작정 키우기보다, 오히려 작고 효율적으로 다듬는 기술이 주목받고 있다.
대표적인 게 ‘지식 증류(Distillation)’다. 크고 무거운 모델이 배운 걸 작은 모델에 압축해서 옮기는 방식인데, 성능은 크게 떨어뜨리지 않으면서 연산량은 확 줄일 수 있다. ‘양자화(Quantization)’도 비슷한 맥락이다. 모델 내부 연산에 쓰이는 숫자의 정밀도를 낮춰서 처리 속도를 높이고 메모리 사용량을 줄이는 기법이다.
이런 기술들이 발전하면서 요즘은 초대형 모델이 아니라 특정 분야에 특화된 ‘소형 모델(SLM)’이 오히려 실무에서 더 각광받는 분위기다. 예를 들어 고객 상담이나 문서 요약처럼 정해진 업무만 처리하면 되는 경우, 굳이 범용 초대형 모델을 쓸 필요 없이 가볍고 빠른 전용 모델로 충분하다는 인식이 퍼지고 있다. 업계 관계자들 사이에서는 앞으로 작고 영역별로 최적화된 모델이 시장의 중심이 될 거라는 전망도 심심찮게 나온다.
이런 흐름은 결국 클라우드에만 의존하던 AI가 스마트폰, 자동차, 각종 임베디드 기기 안으로 직접 들어가는 ‘온디바이스 AI’ 확산으로도 이어지고 있다. 인터넷 연결이 불안정한 환경에서도, 혹은 개인정보를 외부 서버로 보내고 싶지 않은 상황에서도 기기 자체가 추론을 처리할 수 있게 되는 것이다. 저지연, 저비용, 데이터 주권이라는 세 가지 과제를 한 번에 풀 수 있는 방향이라 앞으로 더 많은 투자가 몰릴 것으로 보인다.
결국 승부는 ‘얼마나 잘 굴리느냐’에 달렸다
정리하자면 이렇다. 지금까지 AI 경쟁은 “누가 더 똑똑한 모델을 만드느냐”의 싸움이었다면, 앞으로는 “누가 그 모델을 더 저렴하고 빠르게, 더 많은 사람에게 서비스할 수 있느냐”의 싸움으로 넘어가고 있다. 화려한 신모델 발표보다, 뒤에서 묵묵히 돌아가는 추론 인프라와 반도체, 그리고 그걸 운영하는 기술력이 진짜 승부처가 됐다는 얘기다.
당장 눈에 보이는 건 여전히 챗봇이 얼마나 똑똑한 답을 내놓느냐겠지만, 그 뒤에서는 훨씬 더 치열한 인프라 전쟁이 벌어지고 있다. 앞으로 AI 관련 뉴스를 볼 때 “이번에 나온 모델이 몇 개의 파라미터를 가졌다”는 얘기보다 “이 서비스를 얼마나 많은 사람이, 얼마나 저렴하게 쓸 수 있게 됐다”는 얘기에 조금 더 관심을 가져봐도 좋을 것 같다. 결국 AI가 진짜 산업으로 자리 잡는 순간은, 화려한 발표가 아니라 이 조용한 추론 전쟁이 만들어낼 테니까.
