RAG 평가와 오류 진단

개요

검색 실패와 생성 실패를 따로 측정한다.

먼저 근거·권한·답변 보류, 성능 지표와 데이터 누출 입문의 핵심 개념을 확인하세요.

핵심 개요

RAG 평가에서는 검색이 필요한 문서를 찾았는지, 그 자료가 실제 입력에 들어갔는지, 답변이 근거와 맞는지를 따로 측정합니다. 마지막 답변 점수만 보면 고칠 계층을 찾기 어렵습니다.

평가 자료에는 정답 가능 질문뿐 아니라 없는 정보·충돌·권한 제한·적용일이 지난 사례를 포함합니다. 근거가 없을 때의 적절한 보류도 성공 조건이 될 수 있습니다.

필요한 용어

• 검색 평가: 필요한 근거가 후보에 포함되는지 검사
• 근거 일치 평가: 답변의 주장이 제공된 자료에서 지지되는지 검사

작동 과정

1. 질문·정답 원문·허용 권한을 고정합니다.
2. 검색 결과·실제 입력·최종 답변을 같은 요청 ID로 연결합니다.
3. 최초 불일치 계층과 적절한 보류를 판정합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

정답 문서가 상위 3개에 있고 입력에도 포함됐지만 답변이 반대 조건을 설명합니다.

판단·결과

검색 회수는 통과할 수 있으나 답변의 근거 일치는 실패입니다.

이렇게 판단한 이유

계층별 결과가 있어야 검색기를 바꿀지 생성 지침·입력 해석을 조사할지 결정할 수 있습니다.

흔한 실패와 복구

검색 점수와 답변 품질 점수를 같은 의미로 합치지 않습니다. 각 지표의 분모·성공 조건을 표시합니다.

확인 문제

참고 자료

1. Microsoft: RAG evaluation  — 검색 품질·근거 일치·응답 평가.
2. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

검색 결과는 정확하지만 입력 길이 제한 때문에 정답 조항이 잘렸습니다. 어떤 평가를 추가하고 어떻게 재검증할지 적으세요.