문서 수집·분할·출처 보존

개요

문단의 조건과 버전이 분리되지 않게 색인을 설계한다.

먼저 RAG: 근거 찾기와 오류 진단, 문서·PDF·Excel 추출과 대사의 핵심 개념을 확인하세요.

핵심 개요

검색용 문서 조각에는 원문의 ID·구간·적용일·권한을 함께 보존해야 합니다. 글자를 일정 길이로 자르기만 하면 제목·예외·단위가 분리되어 의미가 바뀔 수 있습니다.

수집·파싱·분할·임베딩·색인 각각에 버전과 실패 건수를 남깁니다. 원문이 바뀌었다고 검색 인덱스가 자동으로 같은 시점에 갱신됐다고 가정하지 않습니다.

필요한 용어

• 청크: 검색과 전달을 위해 나눈 문서 조각
• 계보: 원문에서 조각·인덱스까지 변환 경로를 연결한 이력

작동 과정

1. 원문의 버전·권한·적용일을 확인합니다.
2. 문맥 단위로 나누고 출처 좌표를 보존합니다.
3. 누락·중복·갱신 지연을 색인 결과와 대조합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

규정 제목은 “해외 출장”, 본문은 “상한 20만 원”인데 청크에는 본문만 있습니다.

판단·결과

대상·기간이 없는 조각만으로 국내 출장에 적용할 수 없습니다. “20만 원”에는 통화가 표시되어 있지만, 적용 대상과 기간은 따로 확인해야 합니다.

이렇게 판단한 이유

분할은 검색 효율뿐 아니라 의미 보존의 문제입니다. 제목이나 상위 절의 조건을 조각과 함께 전달해야 합니다.

흔한 실패와 복구

중첩 청크가 늘린 중복을 문서 다양성으로 오해하지 않습니다. 같은 원문의 반복과 독립 근거를 구분합니다.

확인 문제

참고 자료

1. Microsoft: Retrieval augmented generation  — 검색과 모델 입력 결합의 단계.
2. Microsoft: Document Intelligence overview  — OCR·레이아웃·구조화 문서 분석.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

예외 조항이 다음 페이지에 있는 문서를 검색용으로 나누려 합니다. 분할·출처·갱신 검사를 설계하세요.