---
name: cofa-model-eval
description: "표·시계열 데이터의 분류·회귀 예측 모델을 실제 학습하거나 평가할 때 예측 시점, 누수 없는 분할, 기준선과 업무 지표를 정하고 검증한다. 단순 집계·SPC·API 수정에는 사용하지 않는다."
---

# 예측 모델을 실제 사용 조건으로 평가하기

실제 과제가 예측 모델을 요구할 때만 적용한다. 제출 확정 전용이며, 확정 후 질문 준비 대기·후속 서술형에는 학습·분석·답안·개요·코드 설명을 제공하지 않고 AI 작업을 중단한다.

## 예측 계약을 먼저 확인

- 무엇을 누구에 대해 언제 예측하며, 그 결과로 어떤 결정을 내리는지 확인한다. 라벨 정의·양성 클래스·예측 기간·집계 단위·오류 비용·실제 제출 요구를 자료와 연결한다. 중요한 조건이 없으면 미확인으로 남기고 질문을 정리하며 독립된 구조 점검을 진행한다.
- 입력마다 **예측 시점에 실제 알 수 있는 값인지** 확인한다. 사후 판정·수리 결과·미래 집계·라벨의 다른 표현을 특징으로 쓰지 않는다. 식별자나 반복 측정이 같은 개체를 노출하는지도 살핀다.

## 배포 상황에 맞춰 분할

- 제공된 공식 분할이 있으면 먼저 따른다. 새 개체에 대한 일반화는 개체·그룹 분리, 미래 예측은 과거 학습→미래 평가로 설계한다. 시간·그룹 조건이 둘 다 필요하면 둘 다 검증한다. 행 무작위 분할이나 특정 라이브러리 분할기를 일괄 적용하지 않는다.
- 같은 개체·중복 행·겹친 관측 및 라벨 기간이 양쪽에 새는지 확인한다. 학습 시점에 아직 확정되지 않은 라벨을 과거 학습에 쓰지 않는다. 시계열의 간격·집계 창이 다르면 평가 기간과 비교 기준을 명시한다.
- 모델·특징·임계값 선택은 학습 구간 내부의 검증 분할이나 적절한 교차검증으로 한다. **최종 holdout은 선택에서 분리해 보존**하고 결정이 끝난 뒤 평가한다. 이미 선택에 사용했다면 독립 테스트라고 부르지 않고 그 한계와 재평가 가능성을 밝힌다.
- 결측 대체·스케일링·인코딩·특징 선택은 각 학습 부분에서만 적합하고 검증·테스트에는 그 변환만 적용한다. 재표본화는 학습 부분에만 수행하며 평가 자료의 원래 분포는 유지한다. 사용하는 스택에 pipeline 기능이 있으면 전처리와 모델을 함께 관리한다.

## 작은 기준선부터 같은 조건으로 비교

- 이미 제공된 언어·의존성·실행법을 사용한다. 먼저 다수 클래스, 학습 자료의 평균/중앙값, 예측 시점에 이용 가능한 직전 값 등 목적에 맞는 단순 기준선을 만든다. 모든 후보를 **같은 평가 행·라벨·지표**로 비교한다.
- 공식 지표가 있으면 그 지표를 우선한다. 추가 업무 판단은 별도로 설명한다. 분류는 오탐·누락 비용과 처리 용량에 맞는 정밀도·재현율·혼동행렬 등을, 회귀는 오차의 단위와 큰 오차의 중요성에 맞는 MAE·RMSE 등을 선택한다. 희소 양성에서 높은 정확도만으로 성공을 선언하지 않는다.
- 분류 임계값은 모델을 학습한 동일 자료나 최종 테스트에서 최적화하지 않는다. 검증 자료에서 업무 기준으로 정해 고정한 뒤 테스트한다. 기준이 미확인이면 임의 합격선·최적 임계값을 확정하지 않는다.
- 남은 시간과 계산 자원에 맞춰 후보 수·튜닝 횟수를 제한한다. 새 AutoML·외부 AI/API·개인 키를 추가하지 않으며 시험 자료를 외부에 보내지 않는다. 학습이 실행되지 않으면 모델 성능은 미검증이다.

## 결과와 한계를 함께 남기기

완료 응답은 **어떤 예측을 만들었는지 → 왜 그 분할·지표를 골랐는지 → 어떻게 학습·평가했는지 → 실제 결과·한계**를 쉬운 말로 먼저 요약한다. 전문 용어는 짧게 풀고 아래 수치·실행 기록은 필요한 근거로 붙인다.

대상·기간·그룹·분할 근거, 특징과 제외 이유, 전처리, 기준선과 후보의 실제 지표, 임계값 선정 자료, 실행 명령·설정·가능한 난수 seed·소요 시간을 기존 작업 기록에 남긴다. 특정 파일명·보고서 양식을 새 필수조건으로 만들지 않는다.

평가 행 수와 클래스별 개수·양성 수를 함께 보고한다. 표본·양성·그룹이 작거나 기간이 짧으면 불확실성을 명시한다. 추가 분할 비교나 구간 추정은 시간과 표본 구조에 맞을 때만 하며, 계산하지 않은 신뢰구간·유의성·현장 효과를 만들지 않는다. 실제로 실행한 범위와 미실행·데이터 조건의 한계를 구분하고, 기준선보다 나빠도 그대로 보고한다.

## 확인한 공식 참고

아래는 원리의 근거이며 scikit-learn 설치나 특정 버전을 요구하지 않는다. 조회일 2026-10-31.

- [학습 데이터에만 전처리 적합·누수 방지](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage)
- [최종 테스트·그룹·시간 분할](https://scikit-learn.org/stable/modules/cross_validation.html)
- [업무에 맞는 지표·단순 기준선](https://scikit-learn.org/stable/modules/model_evaluation.html)
- [검증 자료에서 분류 임계값 선택](https://scikit-learn.org/stable/modules/classification_threshold.html)