Serving과 추론 최적화

개요

처리량·지연·메모리의 상충을 읽는다.

먼저 품질·지연·비용 실험, 모델 종류와 생성 제어의 핵심 개념을 확인하세요.

핵심 개요

서빙은 학습된 모델을 요청에 응답하는 실행 서비스로 제공하는 일입니다. 모델 적재·토큰 처리·큐 대기·전송이 지연을 만들고 메모리에는 가중치뿐 아니라 중간 상태와 캐시도 필요합니다.

배치·양자화·캐시·실행 공급자는 자원 사용과 품질을 바꿉니다. 처리량이 늘어도 개별 요청 지연이 나빠질 수 있으므로 같은 부하에서 함께 측정합니다.

필요한 용어

• 처리량: 단위 시간에 완료하는 작업량
• 양자화: 일부 수치 표현의 정밀도를 줄여 자원 사용을 바꾸는 방법

작동 과정

1. 현재 부하·입력 길이·하드웨어의 기준값을 측정합니다.
2. 한 최적화 조건씩 바꿉니다.
3. 품질·메모리·처리량·p95 지연을 동시에 비교합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

배치를 키우니 초당 처리량은 늘었지만 짧은 요청의 p95가 2초에서 8초가 됐습니다.

판단·결과

처리량 개선만으로 성공이라 하지 않고 사용자 지연 한도와 큐 정책을 다시 검토합니다.

이렇게 판단한 이유

서로 다른 요청을 기다려 묶는 과정이 개별 지연을 늘릴 수 있습니다.

흔한 실패와 복구

양자화 뒤 속도만 재지 않습니다. 실제 자료의 수치·언어·도구 인수 정확도가 유지되는지 비교합니다.

확인 문제

참고 자료

1. NVIDIA Triton documentation  — 모델 서빙·스케줄링·성능 분석.
2. ONNX Runtime: Performance tuning  — 스레드·메모리·실행 공급자 성능 검토.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

모델 가중치는 장치 메모리에 들어가지만 긴 대화에서만 메모리 오류가 납니다. 원인 후보와 측정 계획을 작성하세요.