성능 지표와 데이터 누출 입문

개요

혼동행렬에서 precision·recall·F1을 계산한다.

먼저 학습 방식과 데이터의 관계의 핵심 개념을 확인하세요.

핵심 개요

정확도는 전체 중 맞힌 비율입니다. 희귀한 사건에서는 모두 정상이라고 답해도 높게 나옵니다. 정밀도는 경고 중 실제 양성 비율, 재현율은 실제 양성 중 찾아낸 비율로 서로 다른 실패를 드러냅니다.

정밀도 P=TP/(TP+FP), 재현율 R=TP/(TP+FN)입니다. F1은 두 값의 조화평균으로 F1=2PR/(P+R)=2TP/(2TP+FP+FN)입니다. 분모가 0인 경우의 처리 규칙은 별도로 정합니다. F1은 참 음성 수와 오류 비용을 직접 반영하지 않으므로 업무 기준을 대신하지 않습니다.

평가는 예측 시점에 사용할 수 있는 자료만으로 해야 합니다. 정답을 간접적으로 알려주는 사후 처리 코드나 고객 중복은 성능을 실제보다 높게 만들 수 있습니다.

필요한 용어

• 거짓 양성: 실제로 음성인데 양성으로 판단한 경우
• 데이터 누출: 학습·평가 과정에 정답이나 미래 정보가 부당하게 들어간 상태

작동 과정

1. 양성의 의미와 오류별 비용을 정합니다.
2. 참·거짓 양성과 음성의 건수를 표로 셉니다.
3. 정확도·정밀도·재현율·F1을 함께 계산하고 입력 시점을 검토합니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

불량 10개와 정상 990개가 있습니다. 경고 20개 중 실제 불량 8개가 포함됩니다.

판단·결과

정밀도는 8/20=40%, 재현율은 8/10=80%입니다. 거짓 양성은 12개, 놓친 불량은 2개입니다. F1=2×0.4×0.8/(0.4+0.8)=약 53.3%입니다.

이렇게 판단한 이유

분모가 다르므로 한 지표만 높이는 것이 전체 목적을 만족시키지 않습니다. 불량 누락과 불필요한 재검사 비용을 구분해야 합니다.

흔한 실패와 복구

전체 정확도가 높다는 이유로 희귀 사건 탐지가 잘된다고 결론 내리지 않습니다. 사건 비율과 혼동 행렬을 먼저 확인합니다.

확인 문제

참고 자료

1. scikit-learn: Model evaluation  — 분류·회귀의 평가 지표.
2. scikit-learn: Common pitfalls  — 분할 전후 전처리와 데이터 누출.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

사기 거래 50건 중 40건을 찾았고 경고는 100건입니다. 지표를 계산하고 거래 취소 후 등록되는 조사 결과 코드를 입력에 써도 되는지 판단하세요.