Skip to Content

모델 계열과 GPU 병렬 처리

실습복습
관련 기초 개념

개요

모델의 입출력과 자원·품질 요구에 맞는 종류와 실행 후보를 비교한다.

먼저 모델 종류와 생성 제어, 이미지 이해·위치·접근성, Serving과 추론 최적화의 핵심 개념을 확인하세요.

세부 학습 목표

  • 고전 ML·신경망·시각·언어·멀티모달·world 모델의 입출력을 구별한다.
  • GPU 병렬 연산의 이득과 전송·메모리 병목을 설명한다.
  • Nemotron 모델을 생성·임베딩·재순위 등 필요한 작업으로 선택한다.

핵심 개요

GPU는 많은 수치 연산을 병렬로 수행하는 데 적합하지만 모든 프로그램을 자동으로 빠르게 만들지는 않습니다. 자료 이동·메모리·작은 작업의 준비 비용이 병목일 수 있습니다.

분류·생성·임베딩·재순위·비전 모델은 입력과 결과가 다릅니다. 언어 모델도 작은 모델·추론 모델·멀티모달·지시 조정 모델 등 요구에 따라 후보를 구분하고 실제 자료에서 비교합니다.

필요한 용어

  • 병렬 처리: 여러 연산을 동시에 수행하는 방식
  • 병목: 전체 처리 속도를 제한하는 자원이나 단계

작동 과정

  1. 작업의 입력·출력과 연산 특성을 정합니다.
  2. 메모리·자료 이동·지원 하드웨어를 확인합니다.
  3. 대표 부하에서 품질·지연·자원 사용을 비교합니다.

모델 이름보다 입력과 출력을 먼저 보기

종류입력·출력과 사용 예
고전 ML표의 특성→범주·수치 예측; 트리·회귀 기준선
신경망학습 가능한 층을 조합; 입력 규모·구조에 맞춰 비교
CNN 등 시각 모델이미지의 공간 특징→분류·객체·영역
언어 모델토큰 문맥→다음 토큰·문장; 기반 모델과 지시 조정 모델 구별
임베딩 모델문서·질문→비교할 수치 벡터
재순위 모델질문·후보→관련성 순위
확산 모델잡음 제거 과정을 학습해 이미지 등 생성
멀티모달 모델텍스트·이미지·음성 등 지원 입력을 결합
World 모델물리 환경의 상태·변화를 표현·예측

  • Nemotron은 생성형 추론뿐 아니라 임베딩·재순위·음성·시각 등 작업별 모델을 포함하는 계열입니다. 같은 계열이라는 이유로 생성 API에 임베딩 모델을 넣지 않습니다. Cosmos·로봇용 GR00T는 물리 환경의 역할과 입력·행동 계약을 함께 봅니다.

  • 토큰은 모델이 처리하는 단위, 문맥 한도는 한 번의 처리에 수용할 입력·출력의 범위입니다. 임베딩의 유사도가 높아도 사실·적용일·사용 권한까지 같은 것은 아닙니다.

NVIDIA: NCA-AMAD exam topics  · NVIDIA: Nemotron models  · NVIDIA Cosmos: Introduction 

큰 모델과 GPU를 고르기 전에

  • GPU의 이점은 많은 연산을 병렬 처리할 때 커질 수 있습니다. 작은 작업의 반복 전송, CPU 전처리, GPU 메모리 부족이 병목이면 장치만 바꿔도 빨라지지 않습니다.

    가상 예: 표의 수치 예측에는 작은 트리 모델을, 제품 사진과 설명의 질의에는 이미지 입력 지원 모델을 기준 후보로 둡니다. 모델 크기뿐 아니라 정확성·강건성·설명 요구·언어·라이선스·메모리·지연을 비교합니다. 토큰화·전처리·전송을 포함한 전체 시간을 같은 부하에서 측정합니다.

NVIDIA: NCA-AMAD exam topics  · NVIDIA: LLM Inference Benchmarking 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

작은 입력 한 건마다 CPU에서 GPU로 복사하니 전체 시간이 늘었습니다.

판단·결과

연산 시간뿐 아니라 전송·준비 비용을 포함해 측정합니다.

이렇게 판단한 이유

GPU의 연산 이점이 작은 작업의 이동 비용보다 작을 수 있습니다.

흔한 실패와 복구

GPU 사용률이 높다는 이유로 사용자의 응답이 빠르다고 단정하지 않습니다. 큐·전송·모델 단계와 전체 지연을 함께 봅니다.

확인 문제

GPU 도입 효과를 측정할 때 포함할 것은?

  1. GPU 연산 시간만
  2. 전송·준비·연산·큐를 포함한 전체 지연
  3. 모델 이름만

풀이 기록 기능을 불러오는 중…

해설 보기

정답: B. 전송·준비·연산·큐를 포함한 전체 지연

전송·준비·연산·큐를 포함한 전체 지연 GPU 사용률이 높다는 이유로 사용자의 응답이 빠르다고 단정하지 않습니다. 큐·전송·모델 단계와 전체 지연을 함께 봅니다.

문서 검색 후보의 순서를 개선하려 할 때 직접 비교할 모델 역할은?

  1. 이미지 생성 모델만
  2. 모든 문서를 임의로 요약하는 모델만
  3. 질문과 후보의 관련성을 다시 판단하는 재순위 모델

풀이 기록 기능을 불러오는 중…

해설 보기

정답: C. 질문과 후보의 관련성을 다시 판단하는 재순위 모델

임베딩은 후보를 찾는 표현을 만들고 재순위는 후보의 관련성을 다시 비교합니다.

참고 자료

  1. NVIDIA: NCA-AMAD exam topics  — 모델·데이터·추론·맞춤화·에이전트·운영 범위.
  2. NVIDIA Triton documentation  — 모델 서빙·스케줄링·성능 분석.
  3. NVIDIA: Nemotron models  — 추론·검색·음성·멀티모달 모델의 작업별 역할.
  4. NVIDIA Cosmos: Introduction  — 물리 환경 예측·변환·추론 모델의 역할.
  5. NVIDIA: LLM Inference Benchmarking  — prefill·decode와 TTFT·토큰 간 지연·부하 조건.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

직접 적용하기

교육용 가상 상황

제품 사진 검색과 월별 수요 수치 예측을 한 대형 텍스트 모델로 처리하려 합니다. 모델 역할·기준선·GPU 병목·평가 기준을 나눠 제안하세요.

선택·계산·진단의 근거를 조건과 연결하고, 확인할 결과를 적으세요.

답안 저장 기능을 불러오는 중…

검증 기준과 해설 보기
  1. 시각·임베딩·생성 및 수치 예측의 출력을 구별한다
  2. 자료·모달리티·언어·라이선스·자원 조건을 확인한다
  3. 정확성·강건성·설명 요구와 전체 지연을 비교한다

사진 검색은 시각 임베딩과 재순위, 설명 생성이 필요하면 별도 생성 모델을 비교합니다. 수요 예측은 시간 분할의 회귀·트리 기준선을 둡니다. 입력 지원과 메모리 적합성을 확인하고 전처리·전송·실행의 지연을 나눠 측정합니다. 각 업무의 독립 자료에서 품질과 운영 비용으로 선택합니다.

복습하기

  1. GPU가 모든 코드를 빠르게 하나요?
  2. 임베딩과 생성 모델은 같은 역할인가요?
  3. 메모리에 무엇이 포함되나요?
  4. 문서 검색 후보의 순서를 개선하려 할 때 직접 비교할 모델 역할은?
답변 확인 기준
  1. GPU가 모든 코드를 빠르게 하나요?

    연산 형태·자료 이동·자원에 따라 다릅니다.

  2. 임베딩과 생성 모델은 같은 역할인가요?

    자료 표현과 출력 생성이라는 목적이 다릅니다.

  3. 메모리에 무엇이 포함되나요?

    가중치·중간 상태·캐시·동시 요청 버퍼가 포함됩니다.

  4. 문서 검색 후보의 순서를 개선하려 할 때 직접 비교할 모델 역할은?

    질문과 후보의 관련성을 다시 판단하는 재순위 모델. 임베딩은 후보를 찾는 표현을 만들고 재순위는 후보의 관련성을 다시 비교합니다.

다음 강의 →학습 기록 →