예시와 프롬프트 실험

개요

zero/few-shot의 효과를 동일 문제로 비교한다.

먼저 명확한 요청과 출력 계약의 핵심 개념을 확인하세요.

세부 학습 목표

• zero·one·few-shot과 프롬프트 템플릿의 역할을 구별한다.
• 지침·예시·출력 제한과 단계적 검증을 독립 평가로 비교한다.

핵심 개요

예시는 추상 지시를 구체적인 입력·출력 쌍으로 보여줍니다. 정상 사례만 반복하면 예외·거절·누락 처리를 배우기 어렵습니다. 대표 사례와 경계 사례를 함께 구성합니다.

프롬프트 개선은 평가 자료를 보고 암기하는 과정이 되면 안 됩니다. 개발 중 보는 자료와 마지막 비교에 쓰는 자료를 분리하고 변경 이유를 기록합니다.

필요한 용어

• Few-shot: 소수의 예시를 문맥에 넣어 동작을 안내하는 방법
• 경계 사례: 분류나 규칙의 경계에서 실수하기 쉬운 입력

작동 과정

1. 작업 유형별 대표·예외 입력을 모읍니다.
2. 예시의 라벨과 출력 계약을 검산합니다.
3. 보지 않은 자료에서 같은 채점 기준으로 변경을 비교합니다.

예시의 수와 검증할 규칙을 구별하기

• 가상 문의를 배송·환불·기타로 분류한다면 먼저 복합 의도와 근거 부족의 처리 규칙을 정합니다. 예시 1개를 5개로 늘린 것은 문맥을 바꾼 것이며 모델 가중치를 학습한 것은 아닙니다.

  템플릿에 지침·예시·분석할 문의를 나눠 넣고, 문의 본문에 있는 명령을 앱의 지시로 승격하지 않습니다. ‘설명하지 말라’만 반복하기보다 반환할 필드와 허용 라벨을 정의합니다.

• 단계적 풀이를 요청해도 사실·산술이 자동으로 맞지는 않습니다. 모델별 권장 지침을 따르고 필요한 외부 근거·계산 결과로 검증합니다. 모델의 비공개 내부 추론 전체를 얻는 것을 평가 조건으로 두지 않습니다. 같은 모델·설정·독립 자료에서 변경 전후의 형식·정답·보류·비용을 비교합니다.

AWS: Prompt engineering concepts  · AWS AIF-C01 공식 영역 3 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

문의 라벨은 배송·환불·기타입니다. “배송이 늦어서 취소하고 싶다”에 대한 정책이 예시에 없습니다.

판단·결과

복합 의도 처리 기준을 먼저 정하고 그 기준을 설명하는 예시를 추가합니다.

이렇게 판단한 이유

예시가 서로 다른 규칙을 가리키면 모델의 선택을 평가할 기준도 흔들립니다. 수를 늘리기 전에 라벨 정책을 일치시킵니다.

흔한 실패와 복구

잘 나온 사례만 남기면 실제 입력 분포를 잃습니다. 실패 자료를 삭제하지 말고 오류 종류로 기록합니다.

확인 문제

참고 자료

1. Anthropic: Context engineering  — 지침·도구·검색·기록의 문맥 관리.
2. Anthropic: Agent evaluations  — 과제·시도·실행 결과·평가자 검증.
3. AWS: Prompt engineering concepts  — 지시·문맥·예시·입력과 zero/few-shot의 구분.
4. AWS AIF-C01 공식 영역 3  — 공식 세부 목표와 판단 수준.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

문서 제목을 분류하는 프롬프트에서 신규 유형만 자주 틀립니다. 예시 추가와 평가셋 분리를 어떻게 할지 적으세요.