SEO NEWS 기사 215건 실측 평균 521토큰… 같은 글자 수에도 숫자·기호 비율 따라 최대 269토큰 차이
생성형 인공지능(AI)을 이용해 기사 요약이나 콘텐츠 분류, 문서 분석 등을 자동화할 때 API 비용을 계산하는 주요 기준은 토큰 수다. AI 모델에 전달하는 문서와 작업 지시문, 모델이 생성한 답변의 토큰 수를 기준으로 비용이 계산되기 때문이다.
그렇다면 한글 문서 1,000자를 AI에 입력하면 몇 개의 토큰이 필요할까. 글자 수가 같으면 토큰 수도 비슷할까.
SEO NEWS가 발행한 기사 215건을 구글 제미나이(Gemini) API로 측정한 결과, 첫 1,000자의 평균은 520.8토큰이었다. 가장 적은 기사는 464토큰, 가장 많은 기사는 733토큰으로 같은 글자 수에서도 최대 269토큰 차이 났다.
숫자와 기호가 많은 기사일수록 토큰 수도 많은 경향을 보였다.
한글 문서 1,000자는 평균 521토큰
기사마다 길이가 다른 점을 고려해 215건의 첫 1,000자를 동일한 조건에서 측정하고, 기사 전체의 토큰 수도 별도로 확인했다. 여기서 1,000자는 한글뿐 아니라 공백과 숫자, 영문, 기호 등을 포함한 실제 기사 본문의 글자 수다.
첫 1,000자의 평균은 520.8토큰, 중앙값은 515토큰이었다. 기사 전체를 기준으로 계산한 1,000자당 평균 토큰 밀도는 약 518.7토큰으로, 첫 1,000자 평균과의 차이는 2.1토큰에 그쳤다.
| 측정 항목 | 결과 |
|---|---|
| 분석 기사 | 215건 |
| 첫 1,000자 평균 | 520.8토큰 |
| 첫 1,000자 중앙값 | 515토큰 |
| 첫 1,000자 최소 | 464토큰 |
| 첫 1,000자 최대 | 733토큰 |
| 기사 전체의 1,000자당 평균 토큰 밀도 | 약 518.7토큰 |
토큰은 글자 수와 1대1로 대응하지 않는다. 토큰화 방식에 따라 여러 글자가 하나의 토큰으로 처리되기도 하고, 단어 하나가 여러 토큰으로 나뉘기도 한다. 글자 수만으로 실제 토큰 수를 정확하게 계산하기 어려운 이유다.
같은 1,000자인데 최대 269토큰 차이
글자 수가 같아도 기사별 토큰 수는 달랐다. 토큰 수가 가장 많은 기사는 733토큰으로, 가장 적은 기사(464토큰)보다 약 58% 많았다.
전체 215건 중 187건(87.0%)은 450~550토큰 범위에 분포했다. 나머지 28건은 550토큰을 초과했으며, 일부 기사는 700토큰을 넘었다.
특히 통계 수치나 비율 표기가 많은 기사에서 토큰 수가 높게 측정됐다.
숫자·기호가 많은 기사일수록 토큰 수도 많아
기사별 토큰 수 차이와 문자 구성의 관계를 살펴보기 위해 첫 1,000자에 포함된 한글, 숫자, 영문, 공백, 기호의 비율을 분석했다.
숫자가 많이 포함된 기사일수록 토큰 수도 많은 경향이 뚜렷했다. 숫자 비율과 토큰 수의 상관계수는 0.839였으며, 기호 비율과 토큰 수의 상관계수도 0.670으로 높게 나타났다.
상관계수는 두 수치가 얼마나 밀접하게 움직이는지를 보여주는 지표다. 1에 가까울수록 함께 증가하는 경향이 강하고, 0에 가까울수록 뚜렷한 관계가 없다는 의미다.
반면 영문 비율과 토큰 수의 상관계수는 -0.241로, 영문이 많을수록 토큰 수가 다소 적어지는 경향을 보였지만 관계는 약했다. 공백·줄바꿈 비율은 -0.049로 토큰 수와 뚜렷한 관계가 없었다.
토큰 수가 가장 많은 40건과 가장 적은 40건을 비교해도 문자 구성이 달랐다.
| 비교 항목 | 토큰 수 하위 40건 | 토큰 수 상위 40건 |
|---|---|---|
| 평균 토큰 수 | 483.6 | 578.9 |
| 숫자 비율 | 0.23% | 4.58% |
| 기호 비율 | 3.81% | 6.69% |
| 영문 비율 | 6.47% | 4.30% |
| 한글 비율 | 65.09% | 60.11% |
상위 40건의 평균 숫자 비율은 4.58%로, 하위 40건(0.23%)의 약 20배였다. 기호 비율도 상위 40건이 6.69%로 하위 40건(3.81%)보다 높았다.
첫 1,000자가 733토큰으로 가장 많았던 기사는 숫자 비율이 17.8%, 기호 비율이 13.9%였다. 반면 464토큰으로 가장 적었던 기사에는 숫자가 없었고 기호 비율은 3.0%였다.
토큰 수가 가장 많았던 기사 4건을 제외하고 다시 분석한 결과, 숫자 비율과 토큰 수의 상관계수는 0.839에서 0.719로 낮아졌다. 그러나 숫자가 많은 기사일수록 토큰 수도 많은 경향은 유지됐다.
이번 결과만으로 숫자와 기호가 토큰 수에 미치는 영향을 따로 구분할 수는 없다. 숫자가 많은 기사에는 소수점과 % 같은 기호도 함께 나오고, 문장 구성도 다를 수 있기 때문이다.
기사 1만 건을 AI로 처리하면 토큰이 얼마나 필요할까?
이번 측정 결과를 활용하면 AI로 처리할 문서의 입력 토큰 규모를 추정할 수 있다.
1,000자 분량의 기사 1만 건을 AI로 분석한다고 가정하면, 실측 평균 520.8토큰을 적용한 기사 본문 입력량은 약 520만 8,000토큰이다.
| 처리 규모 | 기사 본문 입력 토큰 추정 |
|---|---|
| 1,000자 기사 1건 | 약 521토큰 |
| 1,000자 기사 100건 | 약 5만 2,080토큰 |
| 1,000자 기사 1,000건 | 약 52만 800토큰 |
| 1,000자 기사 1만 건 | 약 520만 8,000토큰 |
이는 기사 본문에 평균값만 적용한 계산이다. 실제 사용량은 문서의 문자 구성과 AI 모델에 따라 달라진다.
API 비용을 계산할 때는 작업 지시문과 추가 자료도 입력 토큰에 포함해야 한다. 기사 요약을 맡긴다면 요약 방식을 설명하는 지시문이 입력 토큰에 더해지고, AI가 만든 요약문은 출력 토큰으로 따로 계산된다.
생성형 AI API는 모델마다 요금이 다르며, 입력 토큰과 출력 토큰에도 서로 다른 단가가 적용될 수 있다. 실제 비용을 계산하려면 입력·출력 토큰 수와 각각의 적용 요금을 확인해야 한다.
이번 분석에서는 기사 텍스트의 토큰 수만 측정했다. 실제 요약·분류 작업에서 생성되는 출력 토큰과 전체 API 비용은 측정 대상이 아니었다.
어떻게 측정했나… 기사 215건 대상 총 430회 측정
SEO NEWS가 발행한 기사 215건의 본문 HTML을 수집한 뒤 태그와 이미지 대체 텍스트를 제외하고 텍스트를 추출했다. 본문 문장과 소제목, 표에 포함된 텍스트, 관련 콘텐츠의 표시 문구 등은 유지했다.
정제한 기사마다 전체 본문과 첫 1,000자의 토큰 수를 구글 제미나이 API의 countTokens로 각각 측정했다. 전체 본문 215건과 첫 1,000자 구간 215건을 합쳐 모두 430회 측정했다.
글자 수에는 공백과 줄바꿈, 숫자, 영문, 기호를 모두 포함했다. 따라서 이 기사에서 ‘한글 1,000자’는 한글 음절만 1,000개 모은 텍스트가 아니라 실제 한글 기사 본문에서 추출한 1,000자를 뜻한다.
문자 유형별 비율과 토큰 수의 상관관계를 분석했고, 토큰 수가 가장 많았던 기사 4건을 제외한 결과도 따로 확인했다.
이번 측정 결과는 SEO NEWS 기사 215건과 측정에 사용한 제미나이 모델을 기준으로 한다. 다른 AI 모델은 토큰을 나누는 방식이 다를 수 있어 같은 환산율을 그대로 적용할 수 없다. AI 자동화의 처리량과 비용을 정확하게 계산하려면 실제로 사용할 모델로 토큰 수를 직접 확인해야 한다.
관련콘텐츠
⟶ 구글, 제미나이 4 아르곤 정식 출시… AI 검색·개발자 서비스에 확대 적용
⟶ AI 도입보다 먼저 해야 할 일… 기업 데이터 구조화가 경쟁력



