품질·안전·비용 출시 기준

개요

실패 비용에 맞는 통과선과 보류 조건을 정한다.

먼저 생성 결과와 평가자 검증, Trace·Observability·회귀, AI를 도입할 가치 계산의 핵심 개념을 확인하세요.

핵심 개요

출시 기준은 품질·안전·지연·비용·복구 가능성을 함께 다룹니다. 평균 점수가 좋아도 중요한 권한 유출이나 중복 변경이 있으면 출시를 막아야 합니다.

기준은 결과를 본 뒤 편의대로 정하지 않고 사전에 정합니다. 적은 표본에서 실패가 없었다는 사실을 위험이 없다는 증명으로 확대하지 않습니다.

필요한 용어

• 출시 게이트: 반드시 통과해야 다음 단계로 진행하는 검사
• 오류 예산: 서비스 목표 안에서 허용할 실패의 범위

작동 과정

1. 중요 실패의 금지 조건과 품질 하한을 정합니다.
2. 고정 평가·부하·복구 검사를 수행합니다.
3. 제한 배포와 모니터링·중단 기준으로 전환합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

정답률은 92%에서 94%로 올랐지만 권한 없는 문서를 답변에 포함한 사례가 한 건 생겼습니다.

판단·결과

품질 평균 개선과 별개로 권한 게이트 실패로 출시를 중단합니다.

이렇게 판단한 이유

다른 지표의 개선으로 중요한 안전 조건 위반을 상쇄할 수는 없습니다.

흔한 실패와 복구

평가 통과를 모든 실제 사용자 환경의 성공 보장으로 보고하지 않습니다. 표본·범위·남은 제한을 밝힙니다.

확인 문제

참고 자료

1. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
2. NIST AI RMF  — AI 위험의 맥락·측정·관리.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

새 모델은 싸지만 긴 요청 지연이 한도를 넘습니다. 출시 판단표와 재검증 계획을 작성하세요.