NeMo 맞춤화·RAG

개요

실패 원인과 자료 조건으로 검색·프롬프트·모델 맞춤화를 선택한다.

먼저 맞춤화 방식과 위험, RAG 평가와 오류 진단의 핵심 개념을 확인하세요.

세부 학습 목표

• SFT·PEFT·LoRA·QLoRA·선호 학습·증류의 자료와 목적을 구별한다.
• 어댑터 서빙·병합의 호환성과 과적합·망각을 평가한다.
• 프롬프트·RAG·튜닝을 실패 원인으로 선택하고 검색·재순위·독립 평가를 연결한다.

핵심 개요

NeMo 계열 도구는 모델 맞춤화·자료 처리·검색 등 서로 다른 구성 요소를 포함합니다. 미세조정으로 행동을 바꾸는 일과 Retriever로 근거를 검색하는 일을 구분해야 합니다.

맞춤화와 RAG를 결합해도 자료 권리·기반 모델 호환·평가 분리는 유지합니다. 학습이 부족한 문제와 검색·입력의 오류를 같은 원인으로 취급하지 않습니다.

필요한 용어

• 검색 파이프라인: 수집·분할·임베딩·후보·재순위·입력 전달의 흐름
• 맞춤화 데이터: 목표 행동을 조정하는 데 사용하는 검토된 예시

작동 과정

1. 실패를 지식 연결과 행동 문제로 나눕니다.
2. 검색·학습 구성의 자료와 버전을 각각 정합니다.
3. 계층별 성능과 통합 결과를 독립 평가합니다.

미세조정 방법을 데이터와 연결하기

• SFT의 정답 예시와 DPO의 선호 쌍은 데이터 계약이 다릅니다. GRPO는 보상 환경·검증 규칙의 품질도 중요합니다. 이 표는 개념 비교이며 모든 제품·모델이 모든 방법을 지원한다는 목록이 아닙니다.

• 가상 예: 검토된 답 예시 2,000개와 제한된 학습 메모리가 있다면 SFT와 LoRA/QLoRA 조합을 비교할 수 있습니다. ‘더 좋다/덜 좋다’의 쌍만 있다면 선호 조정 후보를 비교합니다. 양·권리·중복·대표성·독립 평가를 먼저 점검합니다.

NVIDIA: Fine-Tune and Align LLMs with NeMo Customizer  · Dettmers et al.: QLoRA  · NVIDIA NeMo RL: Direct Preference Optimization  · Ethayarajh et al.: KTO  · NVIDIA NeMo: GRPO and Reward Environments 

배포와 검색의 실패를 따로 검증하기

• 어댑터 서빙은 기반 모델에 조정분을 붙여 실행하고, 병합은 조정분을 가중치에 반영하는 선택입니다. 기반 모델·토크나이저·형상·정밀도·런타임의 호환성을 확인합니다. 여러 업무 어댑터를 쓴다면 요청별 선택도 검사합니다.

  과적합은 학습 예시에 치우쳐 새 사례에서 약해지는 현상, 파국적 망각은 새 조정 뒤 기존 능력이 크게 약해지는 현상입니다. 새 업무·기존 업무·안전 자료를 나눠 오프라인 비교하고, 통과 후 통제된 A/B 실험을 검토합니다.

• RAG는 수집→청킹→임베딩→색인→질의→후보→재순위→근거 전달을 나눕니다. 코드는 함수·파일·버전 경계, 이미지는 원본·페이지·시각 근거와 연결합니다. Hybrid는 문자·의미 후보를 결합하고 reranking은 후보의 순서를 다시 비교합니다.

  최신 문서가 안 들어왔다면 수집·검색을, 문서는 맞는데 형식을 어기면 프롬프트·구조화 출력·행동 조정을 먼저 봅니다. zero-shot은 예시 없이, few-shot은 예시를 제공하는 방식입니다. 단계적 풀이·자기검토도 외부 근거·실행 검사와 상한이 필요합니다.

NVIDIA: Fine-Tune and Align LLMs with NeMo Customizer  · NVIDIA NeMo Agent Toolkit: Agent Evaluation  · Microsoft: Retrieval augmented generation  · NVIDIA: NCA-AMAD exam topics 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

답변 형식은 좋지만 어제 갱신한 규정이 답변에 없습니다.

판단·결과

모델 학습을 먼저 반복하기보다 검색 자료의 갱신·후보·입력을 확인합니다.

이렇게 판단한 이유

새 지식이 전달되지 않은 문제와 전달된 자료를 해석하는 행동 문제는 다릅니다.

흔한 실패와 복구

제품군의 이름이 같다는 이유로 모든 구성의 버전·API가 같다고 가정하지 않습니다. 사용하는 구성 요소의 계약을 확인합니다.

확인 문제

참고 자료

1. NVIDIA NeMo Framework  — 모델 맞춤화의 데이터·학습 구성.
2. Microsoft: Retrieval augmented generation  — 검색과 모델 입력 결합의 단계.
3. NVIDIA NIM documentation  — 추론용 마이크로서비스와 배포 조건.
4. NVIDIA: Fine-Tune and Align LLMs with NeMo Customizer  — LoRA의 동결 가중치·학습 행렬과 병합 원리; 제품 초기 소개의 지원 상태는 현재 지원 보증이 아님.
5. Dettmers et al.: QLoRA  — 양자화된 동결 기반 모델과 저랭크 어댑터 학습.
6. NVIDIA NeMo RL: Direct Preference Optimization  — 선호·비선호 응답으로 조정하는 DPO.
7. Ethayarajh et al.: KTO  — 짝지은 선호 비교 없이 바람직함 피드백을 쓰는 정렬.
8. NVIDIA NeMo: GRPO and Reward Environments  — 생성 결과와 보상 환경으로 학습하는 GRPO.
9. NVIDIA NeMo Agent Toolkit: Agent Evaluation  — 업무 데이터·평가기·실행 결과를 이용한 평가.
10. NVIDIA: NCA-AMAD exam topics  — 모델·데이터·추론·맞춤화·에이전트·운영 범위.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

LoRA로 형식 오류는 줄었지만 일반 질의 점수가 떨어졌습니다. 오늘 문서도 검색되지 않습니다. 조정·검색·배포를 각각 어떻게 진단하고 검증할지 쓰세요.