RAG·Agent·도구 통합 평가

개요

중간 단계와 최종 업무 상태를 함께 검증한다.

먼저 RAG 평가와 오류 진단, Agent 실행 추적과 회복, 평가셋·정답·누출 통제의 핵심 개념을 확인하세요.

핵심 개요

Agent 통합 평가는 최종 문장뿐 아니라 도구 인수·권한·외부 상태·산출물까지 확인합니다. 도구를 호출하겠다고 말한 것과 실제 요청이 성공한 것을 구분합니다.

시험 환경은 자료와 초기 상태를 재현 가능하게 준비합니다. 외부 부작용은 격리된 환경이나 모의 도구로 검사하고 실제 서비스 검증과 구분해 보고합니다.

필요한 용어

• 종단 간 평가: 입력부터 실제 상태·산출물까지 전체 경로를 검사
• Fixture: 시험을 위해 준비한 자료와 초기 상태

작동 과정

1. 초기 계정·자료·허용 도구를 고정합니다.
2. 실행 추적과 최종 외부 상태를 수집합니다.
3. 내용·부작용·보류·복구 조건을 각각 판정합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

Agent는 “예약 완료”라고 말했지만 예약 저장소에 행이 없습니다.

판단·결과

최종 문장의 형식과 별개로 업무 완료는 실패입니다.

이렇게 판단한 이유

목표는 완료 선언이 아니라 실제 예약 상태의 생성과 일치이기 때문입니다.

로컬 실행 예제

실행 파일 받기

Python 3.12. tool_dispatch.py도 같은 폴더에 받아 python evaluation_gate.py

python evaluation_gate.py

"""Deterministic workflow fixtures, not an LLM benchmark."""
from tool_dispatch import dispatch
cases = [
    ('known', 'order_status', {'order_id':'A1'}, True, 'ok'),
    ('missing', 'order_status', {'order_id':'X'}, True, 'not_found'),
    ('denied', 'order_status', {'order_id':'A1'}, False, 'forbidden'),
    ('injection', 'delete_order', {}, True, 'unknown_tool')]
results = []
for case, name, args, allowed, expected in cases:
    actual = dispatch(name, args, allowed=allowed)['status']
    results.append({'case':case,'expected':expected,'actual':actual,'pass':actual==expected})
assert all(row['pass'] for row in results)
assert len({row['case'] for row in results}) == 4
for row in results:
    print(row)
print('PASS: 4 workflow contracts; release also needs latency, cost, privacy and independent task evaluation')

기대 결과: 4개 고정 계약의 기대·실제 상태 비교

2026-10-21 로컬 환경에서 실행했습니다. 가상 자료·소형 CPU 예제의 동작 검사이며 실제 업무 모델의 품질·클라우드·GPU·Office 제품 연동 검증은 아닙니다.

실습 자료

• 평가 대상 도구 코드

흔한 실패와 복구

도구 호출 횟수가 많다는 이유로 품질이 높다고 판단하지 않습니다. 필요한 결과와 부작용 조건의 충족을 봅니다.

확인 문제

참고 자료

1. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
2. Anthropic: Building effective agents  — 고정 workflow와 자율 agent의 설계 패턴.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

시트 정리 Agent를 평가합니다. 올바른 값·서식 보존·중복 실행·권한 거절·Undo를 확인할 시나리오를 정하세요.