토큰(Token) 구조

LLM은 인간처럼 사고하는 것이 아니라, 다음에 올 단어를 확률적으로 계산해 문장을 생성한다. 방대한 텍스트 데이터를 학습해 토큰 간 패턴을 파악하고 가장 자연스러운 표현을 선택하는 구조다. 이러한 원리는 AI 검색, 챗봇, 생성형 AI의 핵심 기술 토대가 된다.