AI 자동화에 API 연결하면 한글 1,000자는 몇 토큰일까?

SEO NEWS 기사 215건 실측 평균 521토큰… 같은 글자 수에도 숫자·기호 비율 따라 최대 269토큰 차이

생성형 인공지능(AI)을 이용해 기사 요약이나 콘텐츠 분류, 문서 분석 등을 자동화할 때 API 비용을 계산하는 주요 기준은 토큰 수다. AI 모델에 전달하는 문서와 작업 지시문, 모델이 생성한 답변의 토큰 수를 기준으로 비용이 계산되기 때문이다.

그렇다면 한글 문서 1,000자를 AI에 입력하면 몇 개의 토큰이 필요할까. 글자 수가 같으면 토큰 수도 비슷할까.

SEO NEWS가 발행한 기사 215건을 구글 제미나이(Gemini) API로 측정한 결과, 첫 1,000자의 평균은 520.8토큰이었다. 가장 적은 기사는 464토큰, 가장 많은 기사는 733토큰으로 같은 글자 수에서도 최대 269토큰 차이 났다.

숫자와 기호가 많은 기사일수록 토큰 수도 많은 경향을 보였다.

한글 문서 1,000자는 평균 521토큰

기사마다 길이가 다른 점을 고려해 215건의 첫 1,000자를 동일한 조건에서 측정하고, 기사 전체의 토큰 수도 별도로 확인했다. 여기서 1,000자는 한글뿐 아니라 공백과 숫자, 영문, 기호 등을 포함한 실제 기사 본문의 글자 수다.

첫 1,000자의 평균은 520.8토큰, 중앙값은 515토큰이었다. 기사 전체를 기준으로 계산한 1,000자당 평균 토큰 밀도는 약 518.7토큰으로, 첫 1,000자 평균과의 차이는 2.1토큰에 그쳤다.

측정 항목결과
분석 기사215건
첫 1,000자 평균520.8토큰
첫 1,000자 중앙값515토큰
첫 1,000자 최소464토큰
첫 1,000자 최대733토큰
기사 전체의 1,000자당 평균 토큰 밀도약 518.7토큰

토큰은 글자 수와 1대1로 대응하지 않는다. 토큰화 방식에 따라 여러 글자가 하나의 토큰으로 처리되기도 하고, 단어 하나가 여러 토큰으로 나뉘기도 한다. 글자 수만으로 실제 토큰 수를 정확하게 계산하기 어려운 이유다.

같은 1,000자인데 최대 269토큰 차이

글자 수가 같아도 기사별 토큰 수는 달랐다. 토큰 수가 가장 많은 기사는 733토큰으로, 가장 적은 기사(464토큰)보다 약 58% 많았다.

전체 215건 중 187건(87.0%)은 450~550토큰 범위에 분포했다. 나머지 28건은 550토큰을 초과했으며, 일부 기사는 700토큰을 넘었다.

특히 통계 수치나 비율 표기가 많은 기사에서 토큰 수가 높게 측정됐다.

숫자·기호가 많은 기사일수록 토큰 수도 많아

기사별 토큰 수 차이와 문자 구성의 관계를 살펴보기 위해 첫 1,000자에 포함된 한글, 숫자, 영문, 공백, 기호의 비율을 분석했다.

숫자가 많이 포함된 기사일수록 토큰 수도 많은 경향이 뚜렷했다. 숫자 비율과 토큰 수의 상관계수는 0.839였으며, 기호 비율과 토큰 수의 상관계수도 0.670으로 높게 나타났다.

상관계수는 두 수치가 얼마나 밀접하게 움직이는지를 보여주는 지표다. 1에 가까울수록 함께 증가하는 경향이 강하고, 0에 가까울수록 뚜렷한 관계가 없다는 의미다.

반면 영문 비율과 토큰 수의 상관계수는 -0.241로, 영문이 많을수록 토큰 수가 다소 적어지는 경향을 보였지만 관계는 약했다. 공백·줄바꿈 비율은 -0.049로 토큰 수와 뚜렷한 관계가 없었다.

토큰 수가 가장 많은 40건과 가장 적은 40건을 비교해도 문자 구성이 달랐다.

비교 항목토큰 수 하위 40건토큰 수 상위 40건
평균 토큰 수483.6578.9
숫자 비율0.23%4.58%
기호 비율3.81%6.69%
영문 비율6.47%4.30%
한글 비율65.09%60.11%

상위 40건의 평균 숫자 비율은 4.58%로, 하위 40건(0.23%)의 약 20배였다. 기호 비율도 상위 40건이 6.69%로 하위 40건(3.81%)보다 높았다.

첫 1,000자가 733토큰으로 가장 많았던 기사는 숫자 비율이 17.8%, 기호 비율이 13.9%였다. 반면 464토큰으로 가장 적었던 기사에는 숫자가 없었고 기호 비율은 3.0%였다.

토큰 수가 가장 많았던 기사 4건을 제외하고 다시 분석한 결과, 숫자 비율과 토큰 수의 상관계수는 0.839에서 0.719로 낮아졌다. 그러나 숫자가 많은 기사일수록 토큰 수도 많은 경향은 유지됐다.

이번 결과만으로 숫자와 기호가 토큰 수에 미치는 영향을 따로 구분할 수는 없다. 숫자가 많은 기사에는 소수점과 % 같은 기호도 함께 나오고, 문장 구성도 다를 수 있기 때문이다.

기사 1만 건을 AI로 처리하면 토큰이 얼마나 필요할까?

이번 측정 결과를 활용하면 AI로 처리할 문서의 입력 토큰 규모를 추정할 수 있다.

1,000자 분량의 기사 1만 건을 AI로 분석한다고 가정하면, 실측 평균 520.8토큰을 적용한 기사 본문 입력량은 약 520만 8,000토큰이다.

처리 규모기사 본문 입력 토큰 추정
1,000자 기사 1건약 521토큰
1,000자 기사 100건약 5만 2,080토큰
1,000자 기사 1,000건약 52만 800토큰
1,000자 기사 1만 건약 520만 8,000토큰

이는 기사 본문에 평균값만 적용한 계산이다. 실제 사용량은 문서의 문자 구성과 AI 모델에 따라 달라진다.

API 비용을 계산할 때는 작업 지시문과 추가 자료도 입력 토큰에 포함해야 한다. 기사 요약을 맡긴다면 요약 방식을 설명하는 지시문이 입력 토큰에 더해지고, AI가 만든 요약문은 출력 토큰으로 따로 계산된다.

생성형 AI API는 모델마다 요금이 다르며, 입력 토큰과 출력 토큰에도 서로 다른 단가가 적용될 수 있다. 실제 비용을 계산하려면 입력·출력 토큰 수와 각각의 적용 요금을 확인해야 한다.

이번 분석에서는 기사 텍스트의 토큰 수만 측정했다. 실제 요약·분류 작업에서 생성되는 출력 토큰과 전체 API 비용은 측정 대상이 아니었다.

어떻게 측정했나… 기사 215건 대상 총 430회 측정

SEO NEWS가 발행한 기사 215건의 본문 HTML을 수집한 뒤 태그와 이미지 대체 텍스트를 제외하고 텍스트를 추출했다. 본문 문장과 소제목, 표에 포함된 텍스트, 관련 콘텐츠의 표시 문구 등은 유지했다.

정제한 기사마다 전체 본문과 첫 1,000자의 토큰 수를 구글 제미나이 API의 countTokens로 각각 측정했다. 전체 본문 215건과 첫 1,000자 구간 215건을 합쳐 모두 430회 측정했다.

글자 수에는 공백과 줄바꿈, 숫자, 영문, 기호를 모두 포함했다. 따라서 이 기사에서 ‘한글 1,000자’는 한글 음절만 1,000개 모은 텍스트가 아니라 실제 한글 기사 본문에서 추출한 1,000자를 뜻한다.

문자 유형별 비율과 토큰 수의 상관관계를 분석했고, 토큰 수가 가장 많았던 기사 4건을 제외한 결과도 따로 확인했다.

이번 측정 결과는 SEO NEWS 기사 215건과 측정에 사용한 제미나이 모델을 기준으로 한다. 다른 AI 모델은 토큰을 나누는 방식이 다를 수 있어 같은 환산율을 그대로 적용할 수 없다. AI 자동화의 처리량과 비용을 정확하게 계산하려면 실제로 사용할 모델로 토큰 수를 직접 확인해야 한다.

관련콘텐츠

⟶ 구글, 제미나이 4 아르곤 정식 출시… AI 검색·개발자 서비스에 확대 적용

⟶ AI 도입보다 먼저 해야 할 일… 기업 데이터 구조화가 경쟁력

⟶ ‘해외 진출’ 원하지만, 구글엔 없다?… 중소기업이 놓치는 글로벌 디지털 영업망

⟶ 구글 AI 콘텐츠 보상액 첫 확인… 연 100만 달러부터 1,000달러 미만까지

김종일 에디터
김종일 에디터

국내 유력 미디어 및 뉴미디어 플랫폼 창간을 주도한 디지털 콘텐츠 전문가.

한국일보 뉴미디어부 및 인터넷 한국일보 뉴스부에서 기사 작성 및 뉴스 편집 경력을 시작으로, 스포츠한국과 한스경제 창간 TF의 웹사이트 총괄 기획을 담당했습니다. 인터뷰 전문미디어 이슈인코리아 창간 및 편집국 운영을 통해 디지털 콘텐츠 환경 전반에 대한 깊은 이해를 갖추고 있습니다. 웹사이트 운영부터 한국코와 쇼핑몰 총괄 기획까지 아우르는 경력을 통해, SEO NEWS의 분석과 가이드를 실질적인 비즈니스 성과와 연결하는 통찰력을 제시합니다.

전문 분야
- 검색엔진 최적화(SEO)
- 생성형 AI 검색(GEO)
- 검색 데이터 분석
- 디지털 미디어 전략

기사 : 239

댓글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다