1. 토큰, 한 줄로 말하면 뭔가
CChatGPT와 Claude 등 AI가 언어를 처리하는 기본 단위인 ‘토큰(Token)’의
개념과 입력·출력 토큰의 차이, 비용 산정 방식까지 알기 쉽게 정리해 드립니다.
구글 CEO 순다르 피차이는 토큰을 모델이 처리하는 데이터의 기본 단위이며, 상당수는 해결해야 할 문제를 나타낸다”고 설명했습니다. 엔비디아 젠슨 황 CEO는 한발 더 나아가, 2026년 GTC 무대에서 토큰을 “AI의 통화(currency)라고 표현했습니다. 수사적 표현이 아니라, “AI 팩토리(데이터센터)가 더 많은 토큰을 더 빠르고 싸게 만들어낼 수 있는가”가 실제로 AI 인프라 경쟁의 본질이 됐다는 뜻입니다. 업계에서는 토큰을 두고 ‘AI 혁명을 이끄는 새로운 석유’라고도 부릅니다.
“AI GPU는 왜 비쌀까? H100이 5천만 원인 진짜 이유 ??”
2. 토크나이저 – AI는 문장을 어떻게 쪼갤까
문장을 토큰으로 잘라주는 도구를 **토크나이저(Tokenizer)**라고 합니다. 이 도구는 글자 단위나 단어 단위로 무조건 자르는 게 아니라, 학습 데이터에서 자주 등장하는 패턴에 따라 ‘부분 단어’ 단위로 문장을 나눕니다. “the”, “is”처럼 짧고 흔한 단어는 보통 토큰 하나로 처리되지만, 길거나 드문 단어는 여러 개의 토큰으로 쪼개집니다.
비유하자면 토크나이저는 문장을 레고 블록으로 분해하는 도구와 비슷합니다. 자주 쓰이는 조합은 큰 블록 하나로, 낯설고 복잡한 단어는 여러 개의 작은 블록으로 나눠 조립하는 방식입니다. 중요한 건 토큰을 세는 기준이 모델마다 다르다는 점입니다. 같은 문장이라도 어떤 모델의 토크나이저를 쓰느냐에 따라 토큰 수가 달라질 수 있어, 비용 계산이나 모델 이전 작업을 할 때는 반드시 대상 모델 기준으로 확인해야 합니다.
3. 왜 출력 토큰이 입력보다 훨씬 비쌀까
AI를 쓰다 보면 요금표에 입력(Input)과 출력(Output) 토큰 가격이 따로 표시된 걸 볼 수 있습니다. 그리고 항상 출력 쪽이 더 비쌉니다.
- DeepSeek-V3.2: 입력 100만 토큰당 0.28달러, 출력 100만 토큰당 0.42달러 (약 1.5배)
- Claude Opus 4.7: 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러 (5배)
이렇게 차이가 나는 이유는 처리 방식이 다르기 때문입니다. 입력은 사용자가 준 텍스트를 한 번에 통째로 이해하면 되지만, 출력은 AI가 토큰을 하나씩 순차적으로 생성해야 합니다. 이 과정에서 매번 이전 토큰까지의 맥락을 고려하며 다음 토큰을 예측해야 하니, 훨씬 많은 계산 자원이 들어갑니다. 비유하자면 이미 인쇄된 책을 읽는 것과, 문장을 한 글자씩 직접 타이핑해서 완성하는 것의 노력 차이와 비슷합니다.
“GPT-5.6 vs Claude, 어떤 AI를 써야 할까? “
4. 컨텍스트 윈도우 – AI의 단기 기억
AI가 한 번에 처리할 수 있는 토큰 수에는 상한이 있는데, 이를 **컨텍스트 윈도우(Context Window)**라고 부릅니다. 사람의 단기 기억과 비슷한 개념입니다. 이 한도를 넘어가면, 오래된 내용부터 AI가 더 이상 볼 수 없게 됩니다.
여기서 놓치기 쉬운 함정이 있습니다. 대화가 길어질수록, 이전 대화 전체가 매번 새로운 요청의 입력 토큰으로 다시 청구된다는 점입니다. 예를 들어 10번째 질문을 할 때는, 앞선 9번의 대화 내용이 전부 그 요청의 입력 토큰에 포함됩니다. 이걸 흔히 “컨텍스트가 쌓인다”고 표현하는데, 대화가 길어질수록 요청 하나당 비용이 눈덩이처럼 불어나는 이유가 바로 이것입니다. 컨텍스트 윈도우가 클수록 더 긴 문서를 통째로 분석하거나 더 오래 이어진 대화를 기억할 수 있지만, 그만큼 채워진 컨텍스트 전체가 매 요청마다 비용으로 잡힌다는 점도 함께 기억해야 합니다.
5. 2026년 새로 등장한 토큰들
2026년 들어 토큰의 종류도 세분화되고 있습니다.
- 캐시된 토큰(Cached Tokens): 이전에 이미 처리했던 문맥을 다시 활용할 때 쓰이며, 프롬프트·컨텍스트 캐싱 기능이 있는 경우 대개 할인된 요율이 적용됩니다.
- 추론/생각 토큰(Reasoning Tokens): 일부 AI 시스템은 답을 내놓기 전 내부적으로 ‘생각’하는 과정을 거치는데, 이 과정에서 소모되는 토큰을 별도로 공개하기도 하고, 어떤 곳은 이를 출력 비용에 포함시켜 청구하기도 합니다.
이렇게 토큰 종류가 세분화된 구조는 결국 효율성에 대한 강한 동기부여로 이어집니다. 가능한 한 문맥을 재사용하고, 불필요한 출력은 줄이고, 프롬프트를 명확하면서도 군더더기 없이 유지하는 것이 중요해진 겁니다. 업계에서는 이제 AI와 함께 일한다는 것이 곧 **”토큰을 얼마나 잘 패키징하고 재사용하느냐”**의 운영 영역이 됐다고 설명합니다.
6. 토큰을 아끼는 실용적인 방법
- 불필요한 재설명 줄이기: 이미 설명한 맥락을 매번 반복하지 말고, 캐싱 기능이 있다면 적극 활용합니다.
- 프롬프트는 명확하되 간결하게: 장황한 설명보다 핵심만 담은 프롬프트가 입력 토큰을 줄여줍니다.
- 대화가 길어지면 새 세션 고려: 컨텍스트가 계속 쌓이면 요청 하나당 비용이 커지므로, 주제가 바뀌면 새 대화를 시작하는 것도 방법입니다.
- 작업 난이도에 맞는 모델 선택: 간단한 작업에는 저렴한 경량 모델을, 복잡한 추론이 필요한 작업에는 고성능 모델을 구분해서 쓰면 전체 비용을 관리할 수 있습니다.
❓ FAQ
Q1. 토큰과 단어는 같은 건가요?
비슷하지만 다릅니다. 짧고 흔한 단어는 토큰 1개와 거의 일치하지만, 길거나 낯선 단어는 여러 토큰으로 쪼개집니다. 한글도 영어와는 다른 방식으로 토큰화되는 경우가 많습니다.
Q2. 왜 출력 토큰이 입력 토큰보다 비싼가요?
입력은 텍스트를 한 번에 이해하면 되지만, 출력은 AI가 토큰을 하나씩 순차적으로 생성해야 해서 훨씬 많은 계산 자원이 필요하기 때문입니다.
Q3. 컨텍스트 윈도우가 크면 무조건 좋은 건가요?
길고 복잡한 작업을 처리하는 데는 유리하지만, 채워진 컨텍스트 전체가 매 요청마다 비용으로 청구된다는 점을 함께 고려해야 합니다.
Q4. 캐시 토큰은 뭐가 다른가요?
이전에 이미 처리한 문맥을 재사용할 때 적용되는 할인된 요금 방식입니다. 같은 문서나 대화 맥락을 반복해서 참조하는 작업에서 비용을 아끼는 데 유용합니다.
Q5. 추론 토큰은 왜 따로 계산하나요?
일부 AI 모델은 답변을 내놓기 전 내부적으로 여러 단계를 거쳐 ‘생각’하는 과정을 거치는데, 이 과정에서도 토큰이 소모되기 때문입니다. 시스템에 따라 이를 별도로 표시하거나 출력 비용에 포함시킵니다.
Q6. 이미지나 파일도 토큰으로 계산되나요?
네, 텍스트뿐 아니라 이미지 파일 등 비텍스트 데이터도 토큰화되어 처리·과금됩니다.
Q7. 왜 AI 업체들이 무료 토큰을 많이 뿌리나요?
기업이 특정 AI 모델과 워크플로를 중심으로 시스템을 구축하도록 유도하는 전략입니다. 한 번 특정 모델 중심으로 업무 프로세스를 짜면, 이후 다른 모델로 옮기기가 쉽지 않기 때문입니다.
마무리 요약
토큰은 AI가 세상을 이해하는 가장 작은 단위이자, 젠슨 황의 표현처럼 AI 시대의 새로운 화폐입니다. 문장을 잘게 쪼개는 토크나이저의 원리부터, 입력보다 출력이 더 비싼 이유, 대화가 길어질수록 비용이 눈덩이처럼 불어나는 컨텍스트 윈도우의 구조까지 이해하면, AI를 훨씬 효율적으로 활용할 수 있습니다. 2026년 들어 캐시 토큰, 추론 토큰처럼 세분화된 과금 구조까지 등장하면서, 이제 AI를 잘 쓴다는 것은 결국 “토큰을 얼마나 똑똑하게 관리하느냐”의 문제가 되고 있습니다.
