토큰·문맥·Transformer

개요

입력이 토큰에서 출력으로 바뀌는 과정을 설명한다.

먼저 AI·머신러닝·생성형 AI의 역할의 핵심 개념을 확인하세요.

핵심 개요

언어 모델은 텍스트를 토큰이라는 처리 단위로 변환하고, 앞선 문맥에 이어질 출력을 생성합니다. 토큰과 글자·단어는 일대일 대응하지 않으며 문맥 한도에는 지침·대화·자료·출력 공간이 함께 영향을 줍니다.

Transformer의 attention은 입력 안의 위치 간 관계를 가중해 표현을 만드는 구성 요소입니다. 관계를 잘 계산한다고 현재 사실을 외부에서 확인했다는 뜻은 아닙니다. 입력에서 잘린 자료는 긴 문맥을 지원하는 모델에서도 사용할 수 없습니다.

필요한 용어

• 토큰: 토크나이저가 텍스트를 나눈 처리 단위
• Attention: 여러 위치의 정보에 가중치를 주어 표현을 계산하는 방법

작동 과정

1. 모델·토크나이저와 입력·출력 한도를 확인합니다.
2. 지침·대화·도구·검색 자료의 토큰 사용을 합칩니다.
3. 중요 자료를 남기고 출력 예산을 확보해 실제 요청을 검사합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

가상 문맥 한도 8,000토큰에서 지침 500, 대화 2,000, 검색 자료 5,000, 출력 예약 1,000이 필요합니다.

판단·결과

합계 8,500이므로 최소 500토큰을 줄이거나 다른 구성으로 바꿔야 합니다. 원문 근거를 무작정 끝에서 자르지 않습니다.

이렇게 판단한 이유

입력만 7,500이라고 여유가 있다고 판단하면 출력 공간이 부족해집니다. 압축할 대화와 반드시 보존할 근거를 구분해야 합니다.

흔한 실패와 복구

문자 수로 토큰 수를 정확히 환산하거나 attention을 사실 검증 기능으로 설명하지 않습니다. 사용 모델의 토크나이저와 실제 요청 기록으로 확인합니다.

확인 문제

참고 자료

1. Attention Is All You Need  — Transformer의 attention 구조.
2. Anthropic: Context engineering  — 지침·도구·검색·기록의 문맥 관리.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

한도 12,000, 지침 1,000, 대화 4,000, 근거 6,000, 출력 2,000입니다. 필요한 감축량과 근거 보존 방법을 제안하세요.