평가·개선·시각화와 제한시간

개요

예측 지표·오류 그래프·학습 곡선으로 개선과 제출을 검증한다.

먼저 ML·DL 모델 학습, ML 수명주기와 설명 가능성의 핵심 개념을 확인하세요.

세부 학습 목표

• 혼동행렬에서 precision·recall·F1을 계산하고 임계값 상충을 설명한다.
• MAE·MSE·RMSE·R²의 목적과 단위를 구별한다.
• 학습·검증 곡선과 오차 그래프로 개선 가설을 세우고 제출을 검사한다.

핵심 개요

평가는 문제의 목표와 비용에 맞는 지표를 사용합니다. 불균형 분류는 정확도 외에 정밀도·재현율·혼동 행렬을, 회귀는 단위가 있는 오차와 큰 실패 사례를 살핍니다.

제한시간에는 작동하는 기준선·검증·저장 경로를 먼저 완성합니다. 제출 직전에 커널을 재시작해 전체 실행하고 실제 결과 파일·열·행 순서를 확인합니다.

필요한 용어

• 혼동 행렬: 실제·예측 범주의 조합별 건수 표
• 제출 계약: 필요 파일·열·순서·형식·실행 조건의 약속

작동 과정

1. 목표에 맞는 지표와 기준선을 비교합니다.
2. 오류 집단과 개선 가설을 하나씩 확인합니다.
3. 전체 재실행·예측 파일·제출 조건을 검사합니다.

분류와 회귀의 점수를 검산하기

• TP는 실제 양성을 맞춘 수, FP는 음성을 양성으로 오인한 수, FN은 양성을 놓친 수입니다. 정밀도는 TP/(TP+FP), 재현율은 TP/(TP+FN), F1은 두 값의 조화평균입니다.

  가상 기록 TP=6, FP=2, FN=4이면 precision=0.75, recall=0.60, F1≈0.667입니다. 양성 10건을 모두 음성으로 예측해도 음성이 90건이면 정확도는 90%이므로 정확도만 보지 않습니다.

• 확률에서 범주를 나누는 임계값을 낮추면 대체로 더 많은 사례를 양성으로 분류합니다. 누락과 오탐의 비용을 검증 자료에서 비교해 정하고 시험에서 반복 선택하지 않습니다.

• 실제 [10,20], 예측 [12,16]이면 MAE=3, MSE=10, RMSE≈3.162입니다. 점수 이름만 고르지 말고 단위·오류 비용·비교 기준을 함께 적습니다.

scikit-learn: Model evaluation 

그래프에서 개선할 원인을 좁히기

• 학습 손실은 내려가는데 검증 손실이 최저점 뒤 계속 오르면 과적합 후보입니다. epoch·모델 복잡도·정규화·Dropout·자료 품질을 한 번에 모두 바꾸지 말고 독립 비교합니다. 학습·검증이 모두 나쁘면 학습 부족·표현/모델 부적합·자료/라벨 문제 등을 조사합니다.

  학습 곡선은 epoch별 train/validation, 혼동행렬은 오류 범주, 회귀 산점도·잔차 그래프는 큰 오류·특정 구간의 치우침을 봅니다. 잔차의 부호 정의도 명시합니다.

• 가상 val_loss가 [0.60,0.45,0.40,0.44]이면 관측 최저점은 세 번째입니다. 이 기록만으로 모든 일반화·업무 성능이 입증되지는 않습니다. 보지 않은 시험과 하위집단 오류를 확인합니다.

• 제출에서는 문제에 지정된 변수·파일·열·행 순서·자료형과 실제 산출물을 대조합니다. 이 강의의 예측 CSV는 연습 계약이며 모든 AICE 회차가 같은 파일을 요구한다는 뜻이 아닙니다.

TensorFlow: Overfit and underfit  · scikit-learn: Model evaluation  · AICE Associate official overview 

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

예측 파일은 생성됐지만 고객 ID 순서가 원본과 달라 정답이 다른 사람에게 연결됩니다.

판단·결과

행 수뿐 아니라 ID와 예측 값의 연결을 검증해야 합니다.

이렇게 판단한 이유

모델 품질이 좋아도 제출 자료의 정렬·키가 틀리면 최종 결과는 실패입니다.

실습 자료

• 연결된 로컬 종합 예제
• 분할·ML/신경망·평가·곡선의 종합 연습

흔한 실패와 복구

평가 화면의 점수만 보고 파일 검사를 생략하지 않습니다. 실행·예측·저장·제출이 이어져야 합니다.

확인 문제

참고 자료

1. AICE Associate official overview  — 공식 렌더링 화면에서 데이터 분석·전처리·AI 모델링의 세부 범위 및 30·30·40점 확인. 패키지 버전·개별 알고리즘의 필수 출제 여부는 확정하지 않음.
2. scikit-learn: Model evaluation  — 분류·회귀의 평가 지표.
3. pandas: Introductory tutorials  — 표 읽기·선택·집계·조인.
4. TensorFlow: Overfit and underfit  — 학습·검증 곡선과 과적합 완화.

자료 확인: 2026-10-25. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

TP=6·FP=2·FN=4의 세 지표와 실제 [10,20]·예측 [12,16]의 MAE·RMSE를 계산하세요. 학습 손실은 감소하고 검증 손실은 [0.60,0.45,0.40,0.44]입니다. 개선·그래프·제출 검사를 제안하세요.