Bedrock·모델·프롬프트·평가

개요

Bedrock 모델·프롬프트 후보를 고정 평가와 총비용으로 비교한다.

먼저 품질·지연·비용 실험, 추론·자기검토·프롬프트 버전, 생성 결과와 평가자 검증의 핵심 개념을 확인하세요.

세부 학습 목표

• 모델·프롬프트 버전·생성 설정을 고정해 같은 평가셋에서 비교한다.
• 토큰 과금·캐시·예약 처리량의 비용 상충을 설명한다.
• 문자열 유사도·의미 유사도·모델 심사·업무 성공을 구별한다.

핵심 개요

Amazon Bedrock은 기반 모델에 접근해 생성형 AI 애플리케이션을 구성하는 관리형 서비스입니다. 모델 호출·프롬프트·지식 연결·안전·평가의 역할을 구분해 설계합니다.

모델 선택은 품질·지원 입력·지역·접근 조건·지연·비용을 함께 봅니다. 관리형 호출 성공이 업무상 정답을 보장하지는 않습니다.

필요한 용어

• 기반 모델: 넓은 자료에서 학습되어 여러 작업의 출발점이 되는 모델
• 평가 과제: 입력과 성공 기준을 함께 정의한 비교 단위

작동 과정

1. 업무의 입력·출력·필수 제약을 정합니다.
2. 허용 모델과 호출 계약을 확인합니다.
3. 지침·예시를 버전으로 묶고 고정 평가로 비교합니다.

프롬프트도 배포 버전으로 관리하기

• Prompt management의 변수는 문의나 문서처럼 매번 바뀌는 값이고, variant는 모델·지침·설정이 다른 비교 후보입니다. 시험한 버전을 앱에서 사용하도록 연결합니다.

  가상 예: v1은 근거가 없을 때도 답하고 v2는 보류하도록 바꿨다면, 같은 정상·근거 부족 사례를 두 버전에 적용합니다. 콘솔의 초안을 고친 것과 운영 앱이 새 버전을 참조한 것은 별도로 확인합니다.

• Temperature는 지원 모델의 생성 변동성에 영향을 주며 사실성을 보장하지 않습니다. 최대 출력 길이는 응답·지연·비용을 제한하지만, 너무 작으면 필요한 답이 잘릴 수 있습니다.

AWS: Bedrock Prompt management 

비용과 평가 점수의 의미

• 계산 연습용 단가를 입력 100만 토큰당 2단위, 출력 8단위로 가정합니다. 1,000회 요청에 입력 1,200·출력 300토큰이면 비용은 1,000 × (1,200 × 2 + 300 × 8) / 1,000,000 = 4.8단위입니다. 실제 요금이 아닙니다.

  검색·저장·평가·재시도 비용은 별도입니다. 캐시는 지원되는 반복 입력의 비용·처리를 줄이는 후보이고, 예약 처리량은 사용률과 확보 비용을 비교합니다. 모든 모델·지역이 같은 방식을 지원하지 않습니다.

• 자동·사람·모델 평가자를 목적에 맞춰 결합합니다. ‘정책 금액 12만원’을 21만원으로 적어도 문장 유사도는 높을 수 있으므로, 필수 숫자와 원문 근거를 따로 검사합니다.

AWS AIF-C01 공식 영역 2  · AWS AIF-C01 공식 영역 3  · AWS: Bedrock evaluations 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

두 모델의 답변은 모두 자연스럽지만 한 모델은 근거 문서의 금액을 자주 바꿉니다.

판단·결과

문체보다 수치·근거·형식·비용을 별도 조건으로 평가합니다.

이렇게 판단한 이유

호출 API가 같아도 모델의 동작·지원 설정·품질은 다를 수 있습니다.

흔한 실패와 복구

콘솔 시연에 성공했다고 운영 데이터 권한·지역·모델 접근 조건까지 검증했다고 하지 않습니다. 실제 실행 주체로 확인합니다.

확인 문제

참고 자료

1. AWS: Amazon Bedrock overview  — 관리형 기반 모델 접근과 생성형 AI 구성.
2. AWS: AIF-C01 exam guide  — AI 개념·AWS 서비스 선택·책임·보안의 출제 범위.
3. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
4. AWS: Bedrock Prompt management  — 변수·변형·버전과 앱 연결.
5. AWS AIF-C01 공식 영역 2  — 공식 세부 목표와 판단 수준.
6. AWS AIF-C01 공식 영역 3  — 공식 세부 목표와 판단 수준.
7. AWS: Bedrock evaluations  — 자동·사람·모델 평가자와 RAG 평가.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

정책 응답 후보 A는 ROUGE가 높지만 금액 오류 3건, B는 유사도가 낮지만 금액 오류 0건입니다. 고정할 버전, 평가 기준과 비용 산식을 작성하세요.