평가셋·정답·누출 통제

개요

업무 위험을 대표하는 평가 항목을 만든다.

먼저 성능 지표와 데이터 누출 입문, 환각과 불확실성의 핵심 개념을 확인하세요.

핵심 개요

평가셋은 실제 업무의 대표 입력과 성공 기준을 고정한 자료입니다. 쉬운 질문만 넣으면 운영 품질을 과대평가하고, 학습·프롬프트 예시와 겹치면 전이 능력 대신 사전 노출 효과를 측정할 수 있습니다.

정답이 하나가 아닌 작업은 허용 결과·필수 조건·금지 오류를 루브릭으로 정의합니다. 정답 자체가 모호하면 평가자 일치와 원문 검토부터 수행합니다.

필요한 용어

• 평가셋: 성공 기준과 함께 관리하는 비교용 과제 모음
• 루브릭: 응답을 판정할 구체 조건과 기준

작동 과정

1. 업무 유형과 난도·실패 비용을 나눕니다.
2. 원문 근거·허용 답·보류 조건을 작성합니다.
3. 학습·개발 예시와 중복을 제거하고 버전을 고정합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

문서 QA 평가 20문항이 모두 개발 중 예시에 포함돼 있습니다.

판단·결과

새 문서와 새 조건을 포함한 독립 평가가 필요합니다.

이렇게 판단한 이유

예시에 본 답을 재생한 결과를 처음 보는 상황의 능력으로 해석할 수 없습니다.

흔한 실패와 복구

최종 점수에 맞춰 정답 정의를 사후 변경하지 않습니다. 오류가 있는 기준은 근거와 버전을 남겨 정정하고 다시 평가합니다.

확인 문제

참고 자료

1. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
2. scikit-learn: Common pitfalls  — 분할 전후 전처리와 데이터 누출.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

사내 규정 QA 평가셋을 만듭니다. 정답 가능·없는 정보·충돌·권한 제한을 포함한 구성과 정답 근거를 설계하세요.