문서 QA 프로젝트

개요

검색·답변·권한 평가를 갖춘 최소 QA를 설계한다.

먼저 RAG 평가와 오류 진단, 품질·안전·비용 출시 기준, 최소 아키텍처와 기술 선택의 핵심 개념을 확인하세요.

핵심 개요

문서 QA 프로젝트의 목표는 문서가 있다는 사실보다 질문의 각 주장을 현재 허용 근거에 연결하는 것입니다. 수집·분할·검색·입력·답변·평가의 경로를 작은 자료로 끝까지 구성합니다.

처음부터 정답 가능한 질문만 쓰지 말고 없는 정보·폐기 문서·권한 제한·긴 문서를 포함합니다. 사용자에게 원문 위치와 보류 이유를 보여줍니다.

필요한 용어

• 정답 원문: 질문에 답하는 사실과 적용 조건을 확인할 기준 자료
• 전이 과제: 예제와 다른 조건에서 원리를 적용하는 문제

작동 과정

1. 작은 문서 모음과 질문·정답 원문을 만듭니다.
2. 검색 결과와 실제 입력·답변을 연결합니다.
3. 정답·보류·권한·갱신을 평가하고 실패를 수정합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

규정 두 버전 중 폐기된 문서만 검색되어 예전 금액을 답했습니다.

판단·결과

답변 프롬프트보다 자료 갱신·색인·적용일 필터부터 조사합니다.

이렇게 판단한 이유

실패 계층을 나누면 이미 잘 동작하는 생성 부분을 불필요하게 바꾸는 일을 줄일 수 있습니다.

흔한 실패와 복구

데모에서 정답이 나왔다는 이유로 운영 자료 전체의 검색 품질을 검증했다고 하지 않습니다. 사용 자료와 미검증 범위를 표시합니다.

확인 문제

참고 자료

1. Microsoft: Retrieval augmented generation  — 검색과 모델 입력 결합의 단계.
2. Microsoft: RAG evaluation  — 검색 품질·근거 일치·응답 평가.
3. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

팀 위키 QA의 최소 구현과 독립 평가·완료 기준을 설계하세요.