Skip to Content

NVIDIA Agent 도구와 안전

실습복습
관련 기초 개념

개요

에이전트의 패턴·기억·실행 통제를 실제 업무 결과로 검증한다.

먼저 Agent 실행 추적과 회복, MCP 연결·권한·신뢰 경계, Prompt Injection의 신뢰 경계의 핵심 개념을 확인하세요.

세부 학습 목표

  • 런타임·harness·모델·도구·상태의 역할을 구별한다.
  • ReAct·reflection·planner-executor와 단일/다중 에이전트를 선택한다.
  • 기억·승인·종료·trace·업무 완료 평가를 연결한다.

핵심 개요

NVIDIA Agent 도구·Guardrails 같은 구성은 실행 흐름·도구·안전 검사를 연결하는 데 사용됩니다. 안전 규칙을 넣었다는 사실과 실제 위험한 행동이 차단됐는지는 구분해야 합니다.

입력·출력 필터와 실제 실행 권한은 다릅니다. Agent의 도구 인수·상태·외부 효과를 검사하고 사람의 개입 조건을 명시합니다.

필요한 용어

  • Guardrail: 정한 입력·출력·대화·행동 조건을 검사하는 제어
  • 실행 경계: 도구가 실제 자원 변경을 만드는 지점

작동 과정

  1. Agent의 목표·도구·권한·종료를 정합니다.
  2. 입력·출력 검사와 실행 인가를 분리합니다.
  3. 공격·잘못된 인수·결과 불명·개입을 시험합니다.

에이전트 실행을 반복 가능한 절차로 보기

  • 모델은 다음 호출이나 답을 제안하고, harness는 도구·상태·반복·검증을 묶는 실행 틀, runtime은 실제 코드가 동작하는 환경으로 구별해 봅니다. 프레임워크별 경계는 다를 수 있습니다.
패턴흐름실패를 막을 기준
ReAct판단→도구 행동→결과 관찰→다음 판단도구 계약·권한·반복 상한
Reflection초안→기준에 따른 검토→수정외부 근거·회귀 검사·종료
Planner-executor계획 생성→단계 실행→결과 확인실행 가능성·단계별 상태·재계획

  • 단일 호출로 해결되는 분류를 매번 다중 에이전트로 만들 필요는 없습니다. 독립 조사를 병렬로 나눌 때는 결합 규칙, 순차 작업에는 전달 계약, handoff에는 책임·제어권과 순환 방지를 둡니다.

    내부 생각을 전부 읽는 것이 평가의 전제는 아닙니다. 관찰 가능한 도구·인수·결과·최종 상태를 기준으로 필요한 단계가 수행됐는지 확인합니다.

NVIDIA: NCA-AMAD exam topics  · NVIDIA NeMo Agent Toolkit: Agent Evaluation 

기억과 안전 통제를 실행 앞에 두기

  • 단기 기억은 현재 대화·작업의 상태, 장기 기억은 세션을 넘어 재사용할 정보입니다. Stateless 호출은 필요한 문맥을 요청에 전달하고 stateful 구성은 이전 상태와의 연결을 관리합니다. 어느 쪽도 고객 간 상태 공유를 허용하는 뜻이 아닙니다.

  • NeMo Agent Toolkit은 실행 흐름·도구·평가를 연결하는 개발 도구, NeMo Guardrails는 정한 입력·출력·대화 경계를 제어하는 구성으로 비교합니다. NemoClaw는 OpenShell의 격리 컨테이너 안에서 지원 에이전트를 실행·연결·제어·운영하는 참조 스택입니다. 모델 그 자체와 구별하고 네트워크·파일·프로세스 정책 및 지원 플랫폼을 확인합니다.

    가상 예: 견적 조회→승인→발주에서 출력 필터는 이미 발생한 발주를 취소하지 않습니다. 실행 전에 권한·대상·승인 내용·멱등성 키를 검사하고 결과 불명 시 조회로 대조합니다.

  • 완료율은 실제 업무 성공, 토큰·지연·비용은 자원 지표입니다. trace로 실패한 단계와 반복을 찾아 같은 업무 평가셋에서 프롬프트·모델·흐름의 변경을 비교합니다.

NVIDIA: NCA-AMAD exam topics  · NVIDIA NeMo Guardrails  · NVIDIA NeMo Agent Toolkit: Agent Evaluation  · NVIDIA: NemoClaw overview 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

출력 필터는 위험 문장을 막았지만 도구는 이미 파일을 삭제했습니다.

판단·결과

문장 필터 외에 실행 전 대상·권한·승인 검사가 필요합니다.

이렇게 판단한 이유

출력 후 검사는 이미 발생한 외부 효과를 되돌리지 못합니다.

흔한 실패와 복구

안전 필터 통과를 정확성·정책 준수 전체의 증거로 사용하지 않습니다. 각 목표에 맞는 검사를 남깁니다.

확인 문제

출력 필터와 함께 필요한 것은?

  1. 도구에 무제한 관리자 권한 부여
  2. 최종 문장만 평가
  3. 실행 전 도구 권한·인수·승인 검사

풀이 기록 기능을 불러오는 중…

해설 보기

정답: C. 실행 전 도구 권한·인수·승인 검사

실행 전 도구 권한·인수·승인 검사 안전 필터 통과를 정확성·정책 준수 전체의 증거로 사용하지 않습니다. 각 목표에 맞는 검사를 남깁니다.

도구 성공 응답을 못 받았을 때 안전한 다음 단계는?

  1. 같은 작업 식별자로 기존 처리 여부를 확인한다
  2. 새 식별자로 무조건 다시 발주한다
  3. 모델이 완료라고 말하면 성공 처리한다

풀이 기록 기능을 불러오는 중…

해설 보기

정답: A. 같은 작업 식별자로 기존 처리 여부를 확인한다

통신 실패는 서버 미실행의 증거가 아닙니다. 실행 상태를 대조해야 중복 변경을 막을 수 있습니다.

참고 자료

  1. NVIDIA NeMo Guardrails  — 입력·출력·대화 안전 흐름의 구성.
  2. NVIDIA: NCA-AMAD exam topics  — 모델·데이터·추론·맞춤화·에이전트·운영 범위.
  3. MCP: Security best practices  — 권한·토큰·세션의 신뢰 경계.
  4. NVIDIA NeMo Agent Toolkit: Agent Evaluation  — 업무 데이터·평가기·실행 결과를 이용한 평가.
  5. NVIDIA: NemoClaw overview  — OpenShell 격리 환경에서 에이전트를 실행·제어·운영하는 참조 스택.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

직접 적용하기

교육용 가상 상황

planner가 만든 주문을 executor가 실행한 뒤 응답이 끊겼습니다. reflection 단계가 같은 발주를 다시 요청합니다. 재시도·승인·기억·평가 기준을 설계하세요.

선택·계산·진단의 근거를 조건과 연결하고, 확인할 결과를 적으세요.

답안 저장 기능을 불러오는 중…

검증 기준과 해설 보기
  1. 관찰 가능한 상태와 결과 불명을 구별한다
  2. 승인 인수·멱등성·기존 처리 조회를 실행 전에 검사한다
  3. 반복·시간·비용 상한과 실제 완료·위반 지표를 둔다

결과 불명은 미실행과 같지 않습니다. 승인된 인수·작업 키를 보존하고 기존 발주를 조회합니다. 같은 키의 중복 실행을 서버에서 제어하고 변경된 인수는 재확인합니다. 대화 기억과 실제 주문 기록을 구별하고 상한을 넘으면 보류합니다. 완료 문장보다 주문 ID·중복·승인 위반을 평가합니다.

복습하기

  1. Guardrail 설정이 효과의 증거인가요?
  2. 실행 전 검사 이유는?
  3. 사람 개입 조건은?
  4. 도구 성공 응답을 못 받았을 때 안전한 다음 단계는?
답변 확인 기준
  1. Guardrail 설정이 효과의 증거인가요?

    실제 실패·공격 과제에서 차단 여부를 확인해야 합니다.

  2. 실행 전 검사 이유는?

    외부 부작용이 발생한 뒤에는 출력 수정으로 해결되지 않기 때문입니다.

  3. 사람 개입 조건은?

    중요 변경·충돌·불확실성 등 구체 조건으로 정합니다.

  4. 도구 성공 응답을 못 받았을 때 안전한 다음 단계는?

    같은 작업 식별자로 기존 처리 여부를 확인한다. 통신 실패는 서버 미실행의 증거가 아닙니다. 실행 상태를 대조해야 중복 변경을 막을 수 있습니다.

← 이전 강의다음 강의 →학습 기록 →