RAG: 근거 찾기와 오류 진단

핵심 개요

여기서 언어 모델(LLM)은 질문과 함께 받은 글을 바탕으로 답변을 만드는 모델을 뜻합니다. RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 질문에 필요한 자료를 찾아 모델 입력에 넣고 답변하게 하는 방식입니다. 예를 들어 휴가 규정에 관해 물으면 관련 조항을 찾아 질문과 함께 전달합니다. 매 질문마다 문서 내용으로 모델의 가중치(학습으로 조정된 내부 값)를 다시 학습하는 과정은 아닙니다. [1]

청크(chunk)

검색하고 전달하기 위해 문서를 나눈 조각입니다. 조각만 읽어도 대상·날짜·조건을 알 수 있어야 합니다. [3]

인덱스(index)

자료를 빠르게 찾기 위한 검색용 구조입니다. 원문을 바꾸어도 검색 대상이 함께 갱신되었는지 확인해야 합니다. 인덱스 버전은 어느 시점의 자료로 검색 구조를 만들었는지 구별하는 표시입니다.

컨텍스트(context)

이 노트에서는 질문에 답하도록 모델에 실제 전달한 근거 글을 뜻합니다. 검색기가 찾았어도 입력 조립 과정에서 빠지면 모델은 그 글을 받지 못합니다.

근거 일치(groundedness)

답변의 주장이 전달한 근거와 일치하는지 보는 관점입니다. 오래된 근거와 일치해도 현재 기준으로 맞는 답인지는 별도로 확인해야 합니다. [2]

RAG는 키워드·벡터·혼합 검색 등으로 구성할 수 있습니다. 이 차시에서는 검색 방식의 세부 구현 대신 단계 사이에 무엇이 전달되는지를 봅니다. [1]

두 흐름을 구분하세요

자료 준비: 원문을 확인하고, 필요한 조각과 검색 대상을 만듭니다.
질문 처리: 질문으로 자료를 찾고, 선택한 근거를 모델 입력에 넣고, 답변을 생성합니다.

이 네 단계는 이 노트의 진단 구분입니다. 실제 시스템에서는 여러 문제가 동시에 생길 수 있습니다. 관찰한 불일치와 그 불일치를 만든 근본 원인을 구분하세요. 근거가 빠졌다고 바로 특정 검색 알고리즘을 원인으로 확정할 수는 없습니다.

풀이 예제: 검색부터 조사할 근거

아래 규정과 서비스 기록은 모두 학습용 가상 자료입니다. 실제 회사 규정이 아닙니다.

먼저 기준 원문에서 답에 필요한 ‘3일’을 찾습니다. 다음으로 검색 결과를 보면 그 근거가 없습니다. 실제 모델 입력에도 없으므로, 우선 확인할 단계는 검색입니다. 답변 역시 근거 밖의 숫자를 단정했지만, 답변 지시만 고쳐서는 누락된 휴가 조항을 찾아오지 못합니다.

다음 행동은 검색 질의·필터·문서 ID를 확인해 왜 P-2026이 검색되지 않았는지 재현하는 것입니다. 그 뒤 모델이 근거가 없을 때 답을 보류하는지도 별도로 점검합니다. ‘검색부터 조사’는 모델에 문제가 없다는 뜻이 아닙니다.

진단 순서

1. 질문에서 대상과 적용 시점을 확인합니다.
2. 정답 근거가 되는 원문을 정합니다.
3. 검색 결과에 그 근거가 있는지 봅니다.
4. 실제 모델 입력에도 들어갔는지 봅니다.
5. 답변이 입력 근거를 지켰는지 비교합니다.
6. 기록이 없으면 추측 대신 필요한 기록을 요청합니다.

request_id: R-17
question: “현재 연속 휴가 최대 일수?”
index_version: I-202607
searchable_source: P-2026, “최대 3일” 반영 확인
retrieved_ids: [M-2026]
model_input_ids: [M-2026]
response: “최대 5일”

사례: 10월 출장의 숙박비 상한

다음은 교육용 가상 규정입니다. 실제 회사 정책이 아닙니다.

“10월 국내 출장에서 숙박비는 1박에 얼마까지 가능한가요?”

기대 답변: 10월 국내 출장에는 v2가 적용되며, 1박 상한은 120,000원입니다. 답변에는 적용일과 해당 규정의 근거를 함께 제시합니다.

v2를 찾지 못했다면 v1의 금액으로 단정하지 않습니다. 현재 규정을 더 찾거나, 확인 가능한 근거가 부족하다고 표시합니다.

다른 방법과 비교하기

RAG와 미세조정은 함께 사용할 수도 있습니다. 하나가 모든 지식과 동작 문제를 해결하지는 않습니다.

확인 문제

기준 원문 P-2026: 최대 3일. 검색 결과: P-2026의 최대 3일 조항. 실제 모델 입력: 같은 조항을 포함. 답변: “최대 5일입니다.”

현재 기준 원문 P-2026: 2026-07-01부터 최대 3일. 검색 대상에는 폐기된 P-2024(최대 5일)만 남아 있음. 검색 결과·실제 모델 입력: P-2024. 답변: “최대 5일입니다.”

질문: “2026년 현재 연속 휴가는 최대 며칠인가요?” 답변: “최대 5일입니다.” 검색 결과와 실제 모델 입력은 제공되지 않았습니다.

참고 자료

1. Microsoft: RAG와 인덱스 — 검색·입력 결합·생성의 흐름. 문서 갱신 2026-08-21.
2. Microsoft: RAG 평가 — 검색 과정과 답변 근거 일치의 구분.
3. Anthropic: Contextual Retrieval — 문서 조각의 맥락과 검색 문제. 2024-09-19.

확인일: 2026-10-21. 규정·제품·로그·문항은 자체 제작한 교육용 가상 자료입니다. 특정 자격증 전체 범위나 실제 RAG 서비스 실행을 검증한 자료는 아닙니다.

request_id: R-42
question: 제품 B의 현재 반품 기간은?
official_source: B-2026, 제품 B는 수령 후 14일 이내
search_index: I-2026, B-2026 반영 확인
retrieved: B-2026, 제품 B는 수령 후 14일 이내
model_input: A-2026, 제품 A는 수령 후 30일 이내
response: 제품 B는 30일 이내입니다.