결측·이상·중복·데이터 권리

개요

정제 규칙을 원본 추적이 가능하게 정한다.

먼저 JSON·CSV·SQL·표의 의미의 핵심 개념을 확인하세요.

핵심 개요

결측·이상치·중복은 발견 즉시 삭제할 대상이 아니라 원인과 업무 의미를 확인할 신호입니다. 센서 고장으로 생긴 결측과 사용자가 선택하지 않은 값은 처리 의미가 다릅니다.

정리 규칙은 학습 자료에서 정하고 평가 자료에는 같은 규칙을 적용합니다. 자료를 사용할 권리와 보관·공유 조건도 품질 점검에 포함해야 합니다.

필요한 용어

• 이상치: 분포나 업무 제약에서 크게 벗어난 값
• 출처 이력: 자료가 언제 어디서 어떤 처리로 만들어졌는지의 기록

작동 과정

1. 필드별 결측·범위·키 중복을 셉니다.
2. 수집 로그와 업무 규칙으로 원인을 분류합니다.
3. 변환 전후 건수와 권리·보관 조건을 남깁니다.

풀이 예제

아래 입력과 기록은 직접 만든 교육용 가상 자료입니다.

입력·조건

연령 열에 0·35·250이 있고, 같은 고객의 거래가 날짜별로 세 건 있습니다.

판단·결과

250은 검토 대상이며 세 거래는 서로 다른 사실일 수 있습니다. 고객 ID만 보고 두 거래를 지우지 않습니다.

이렇게 판단한 이유

중복의 기준은 행의 업무 단위에 달려 있습니다. 이상 값도 입력 실수인지 다른 단위인지 먼저 확인합니다.

흔한 실패와 복구

평가 자료의 평균까지 써서 결측을 채우면 누출이 생깁니다. 대체 규칙은 학습 자료에만 맞춥니다.

확인 문제

참고 자료

1. pandas: Introductory tutorials  — 표 읽기·선택·집계·조인.
2. scikit-learn: Common pitfalls  — 분할 전후 전처리와 데이터 누출.
3. NIST AI RMF  — AI 위험의 맥락·측정·관리.

자료 확인: 2026-10-21. 사례·문항·실습은 자체 제작했습니다. 외부 서비스 호출과 실제 모델 품질 측정은 학습자가 별도 환경에서 수행합니다.

체온 열에 36.5·365·빈칸이 있고 원본은 외부 기관 자료입니다. 정리와 사용 전 확인 절차를 설계하세요.