품질·지연·비용 실험

개요

동일 평가셋으로 두 모델의 차이를 비교한다.

먼저 모델 종류와 생성 제어, AI를 도입할 가치 계산의 핵심 개념을 확인하세요.

핵심 개요

품질·지연·비용 비교는 같은 요청과 같은 성공 기준에서 수행해야 합니다. 평균 지연은 느린 일부 요청을 숨길 수 있으므로 상위 분위 지연과 오류율도 함께 봅니다. 초기 모델 적재 시간과 이미 준비된 상태의 지연은 구분합니다.

모델 외에 문맥 길이·재시도·도구 호출이 비용을 바꿉니다. 가장 싼 호출이 더 많은 재시도와 사람의 수정을 요구하면 성공한 작업당 총비용은 오히려 높아질 수 있습니다.

필요한 용어

• p95 지연: 측정 요청의 약 95%가 그 이하에서 끝난 지연 값
• 성공 작업당 비용: 전체 실행 비용을 기준을 만족한 작업 수로 나눈 값

작동 과정

1. 고정 평가셋과 품질 하한을 먼저 만듭니다.
2. 모델·설정·입력 길이와 여러 번의 실행 결과를 기록합니다.
3. 성공률·지연 분포·총비용으로 후보를 선택합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

후보 A는 100회에 비용 10단위, 성공 50회입니다. B는 비용 16단위, 성공 80회이며 두 후보 모두 지연 한도를 충족합니다.

판단·결과

성공당 비용은 두 후보 모두 0.2단위입니다. 호출당 비용만 보면 A가 싸지만 성공률까지 보면 단순 우열을 정할 수 없습니다.

이렇게 판단한 이유

분모를 성공 작업으로 고정하면 실패와 재시도의 영향을 드러낼 수 있습니다. 성공 정의가 다르면 비교 자체가 성립하지 않습니다.

흔한 실패와 복구

서로 다른 쉬운 문제와 어려운 문제로 후보를 비교하지 않습니다. 평가셋과 결과 채점 기준을 고정한 뒤 한 변수를 바꿉니다.

확인 문제

참고 자료

1. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
2. ONNX Runtime: Performance tuning  — 스레드·메모리·실행 공급자 성능 검토.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

A는 비용 18·성공 90·p95 4초, B는 비용 12·성공 60·p95 9초입니다. 지연 한도 5초일 때 선택과 추가 검증을 적으세요.