일반화와 평가

04장에서는 훈련 데이터의 손실을 줄이는 법을 배웠다. 그런데 모델을 만드는 목적은 이미 정답을 아는 데이터를 다시 맞히는 것이 아니라 처음 보는 데이터를 맞히는 것이다. 이 장은 그 실력을 재는 방법을 다룬다. 데이터를 훈련·검증·테스트로 나누고, 분류 모델의 확률과 임계값을 읽고, 상황에 맞는 지표를 고르고, 과적합과 데이터 누수를 알아본다. 여기서 정한 “어떻게 재는가”가 6장부터 나오는 모든 모델을 비교하는 기준이 된다.

5-1. 이 장의 목표와 완료 기준

섹션 제목: “5-1. 이 장의 목표와 완료 기준”
목표 완료 기준
일반화를 말한다 훈련 점수가 좋아도 모델이 좋다고 할 수 없는 이유를 말한다
데이터를 나눈다 훈련·검증·테스트의 역할을 구분하고, stratify로 비율을 지켜 나눈다
분류 모델의 출력을 읽는다 predict_proba의 열 순서를 확인하고, 임계값을 바꾸면 예측이 어떻게 바뀌는지 말한다
분류 지표를 계산한다 혼동행렬에서 정확도·정밀도·재현율·F1을 직접 계산하고, AUC가 무엇을 재는지 말한다
회귀 지표를 고른다 MAE·RMSE·R²의 차이를 말하고 이상치에 대한 반응을 비교한다
과적합을 알아본다 훈련·검증 오차를 함께 보고 과소적합·적당·과적합을 구분한다
교차검증을 쓴다 cross_val_score로 평균과 표준편차를 내고, 모델 비교에 쓴다
데이터 누수를 막는다 전처리를 훈련 데이터에만 맞추고, 교차검증에서는 전처리를 파이프라인 안에 넣는다
선택 기준표에 줄을 더한다 분할·지표·교차검증을 언제 어떻게 고르는지 적는다
실습 노트북 05를 끝낸다 실습/문제/ch05_일반화와_평가.ipynb의 점검 셀이 모두 “통과”를 출력한다

예상 시간: 원고 1시간 30분, 실습 1시간 30분.

5-2. 왜 평가부터 따로 배우나

섹션 제목: “5-2. 왜 평가부터 따로 배우나”

5-3. 일반화와 데이터 분할

섹션 제목: “5-3. 일반화와 데이터 분할”

처음 보는 데이터에서도 잘 맞히는 능력을 일반화(generalization)라 한다. 훈련 데이터로 재면 일반화를 알 수 없다. 모델이 그 데이터를 이미 봤기 때문이다. 그래서 데이터 일부를 학습에 쓰지 않고 떼어 둔다.

데이터 하는 일 쓰는 횟수
훈련(train) 매개변수(w·b)를 학습한다 학습마다
검증(validation) 하이퍼파라미터·모델·임계값을 고른다 여러 번
테스트(test) 다 고른 뒤 마지막 실력을 보고한다 한 번

테스트를 보고 모델을 고치면 테스트도 “고르는 데 쓴 데이터”가 되어 점수가 낙관적으로 나온다. 고르는 일은 검증에서 끝낸다.

이 장의 분류 예제는 sklearn 내장 유방암 진단 데이터다. 세포 사진에서 잰 특성 30개로 종양이 악성인지 양성인지 맞힌다. 원래 target은 악성 0, 양성 1인데, 이 장은 찾아내야 할 쪽(악성)을 1로 바꿔 쓴다. 지표를 읽기 쉽게 하려고 처음에는 특성 2개(세포핵 질감 mean texture, 윤곽 매끄러움 mean smoothness)만 쓴다. 30개를 다 쓰면 거의 다 맞혀서 지표 차이가 잘 보이지 않는다(5-8절에서 비교한다).

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
bc = load_breast_cancer(as_frame=True)
y = (bc.target == 0).astype(int).to_numpy() # 악성 1, 양성 0
cols = ["mean texture", "mean smoothness"]
X = bc.data[cols].to_numpy()
print(X.shape, np.bincount(y), round(y.mean(), 3))
X_tmp, X_te, y_tmp, y_te = train_test_split(X, y, test_size=0.2, stratify=y, random_state=0)
X_tr, X_va, y_tr, y_va = train_test_split(X_tmp, y_tmp, test_size=0.25, stratify=y_tmp, random_state=0)
for name, t in [("훈련", y_tr), ("검증", y_va), ("테스트", y_te)]:
print(name, len(t), round(t.mean(), 3))
출력
(569, 2) [357 212] 0.373
훈련 341 0.372
검증 114 0.377
테스트 114 0.368

5-4. 분류 모델의 출력: 확률과 임계값

섹션 제목: “5-4. 분류 모델의 출력: 확률과 임계값”

분류 모델로 로지스틱 회귀(logistic regression)를 쓴다. 이름은 회귀지만 분류 모델이고, 내부는 6장에서 다룬다. 지금은 “특성을 받아 악성일 확률을 내는 모델”로만 쓴다. 04장처럼 표준화는 훈련 데이터로 fit한다.

from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
scaler = StandardScaler().fit(X_tr) # 평균·표준편차는 훈련 데이터에서만
Z_tr, Z_va = scaler.transform(X_tr), scaler.transform(X_va)
clf = LogisticRegression().fit(Z_tr, y_tr)
proba = clf.predict_proba(Z_va) # (N, 2): 범주별 확률
print(clf.classes_, proba.shape)
print(proba[:4].round(3))
p_va = proba[:, 1] # 악성(1)일 확률
print(np.array_equal(clf.predict(Z_va), (p_va >= 0.5).astype(int)))
출력
[0 1] (114, 2)
[[0.971 0.029]
[0.905 0.095]
[0.142 0.858]
[0.908 0.092]]
True

임계값은 학습이 정하지 않는다. 사람이 목적에 맞게 고르는 값이다. 낮추면 악성이라고 답하는 경우가 늘어난다.

for t in [0.2, 0.3, 0.5, 0.7]:
pred = (p_va >= t).astype(int)
caught = int(((pred == 1) & (y_va == 1)).sum()) # 실제 악성을 악성으로 맞힘
alarms = int(((pred == 1) & (y_va == 0)).sum()) # 실제 양성을 악성이라 함
print(f"임계값 {t}: 악성 예측 {pred.sum():2d}명, 실제 악성 {y_va.sum()}명 중 {caught:2d}명 찾음, 잘못 경보 {alarms:2d}명")
출력
임계값 0.2: 악성 예측 68명, 실제 악성 43명 중 40명 찾음, 잘못 경보 28명
임계값 0.3: 악성 예측 58명, 실제 악성 43명 중 38명 찾음, 잘못 경보 20명
임계값 0.5: 악성 예측 38명, 실제 악성 43명 중 29명 찾음, 잘못 경보 9명
임계값 0.7: 악성 예측 24명, 실제 악성 43명 중 21명 찾음, 잘못 경보 3명

임계값을 낮추면 악성을 더 많이 찾지만 양성 환자에게 잘못 경보하는 일도 늘어난다. 어느 쪽을 더 피해야 하는지는 데이터가 아니라 문제 상황이 정한다. 이것을 숫자로 재는 것이 다음 절의 지표다.

5-5. 분류 지표

섹션 제목: “5-5. 분류 지표”

혼동행렬

섹션 제목: “혼동행렬”

예측과 정답을 두 칸씩 교차해 센 표를 혼동행렬(confusion matrix)이라 한다. 찾으려는 쪽(1)을 양성(positive), 나머지를 음성(negative)이라 부른다. 여기서는 악성이 양성이다(의학의 “양성 종양”과 헷갈리지 않게 이 절에서는 범주를 악성·양성 종양 대신 1·0으로 적는다).

예측 0 예측 1
정답 0 TN 참음성(true negative) FP 거짓양성(false positive): 잘못된 경보
정답 1 FN 거짓음성(false negative): 놓침 TP 참양성(true positive)
from sklearn.metrics import confusion_matrix
pred = (p_va >= 0.5).astype(int)
cm = confusion_matrix(y_va, pred) # 행 = 정답, 열 = 예측
print(cm)
tn, fp, fn, tp = cm.ravel()
print(tn, fp, fn, tp)
출력
[[62 9]
[14 29]]
62 9 14 29

sklearn의 confusion_matrix는 행이 정답, 열이 예측이다. 범주 순서는 정답·예측에 나온 값을 정렬한 순서라 이 예제에서는 [0, 1]이고, 한쪽 범주만 나오면 1×1 표가 될 수 있으므로 늘 네 칸을 얻으려면 labels=[0, 1]을 준다. ravel()하면 TN, FP, FN, TP 순이다. 다른 책·도구는 행과 열을 반대로 두기도 하므로 처음 볼 때 확인한다.

정확도·정밀도·재현율·F1

섹션 제목: “정확도·정밀도·재현율·F1”
지표 식 질문
정확도(accuracy) TP+TN전체\dfrac{TP + TN}{\text{전체}} 전체 중 몇 개를 맞혔나
정밀도(precision) TPTP+FP\dfrac{TP}{TP + FP} 1이라고 한 것 중 진짜 1은 얼마나
재현율(recall) TPTP+FN\dfrac{TP}{TP + FN} 진짜 1 중 몇 개를 찾았나
F1 2⋅정밀도⋅재현율정밀도+재현율\dfrac{2 \cdot \text{정밀도} \cdot \text{재현율}}{\text{정밀도} + \text{재현율}} 정밀도와 재현율을 함께 (조화평균)
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
acc = (tp + tn) / (tp + tn + fp + fn)
prec, rec = tp / (tp + fp), tp / (tp + fn)
f1 = 2 * prec * rec / (prec + rec)
print("직접 ", round(acc, 3), round(prec, 3), round(rec, 3), round(f1, 3))
print("sklearn", round(accuracy_score(y_va, pred), 3), round(precision_score(y_va, pred), 3),
round(recall_score(y_va, pred), 3), round(f1_score(y_va, pred), 3))
출력
직접 0.798 0.763 0.674 0.716
sklearn 0.798 0.763 0.674 0.716

분모가 0이면 지표가 정의되지 않는다. 1이라고 예측한 표본이 없으면 정밀도(TP + FP = 0), 정답 1이 없으면 재현율(TP + FN = 0)을 계산할 수 없다. sklearn은 이때 경고와 함께 0을 돌려주며, zero_division=0처럼 처리 방법을 직접 정할 수 있다. 직접 계산할 때도 분모가 0인지 먼저 확인한다. F1은 산술평균이 아니라 조화평균이라, 둘 중 하나가 낮으면 F1도 낮다. 정밀도 1.0·재현율 0.1이면 산술평균은 0.55지만 F1은 약 0.18이다.

정확도의 함정. “모두 0”이라고 답하는 모델을 만들어 본다.

always0 = np.zeros_like(y_va)
print("정확도", round(accuracy_score(y_va, always0), 3), "/ 재현율", recall_score(y_va, always0))
출력
정확도 0.623 / 재현율 0.0

아무것도 배우지 않은 모델의 정확도가 0.6을 넘는다. 이 데이터는 0이 약 63%이기 때문이다. 0이 99%인 데이터라면 정확도 0.99다. 그래서 범주가 불균형하면 정확도만 보지 않고 이런 단순 기준선과 비교하고, 재현율·정밀도·F1을 함께 본다.

임계값과 정밀도·재현율

섹션 제목: “임계값과 정밀도·재현율”
for t in [0.2, 0.3, 0.5, 0.7]:
pr = (p_va >= t).astype(int)
print(t, round(precision_score(y_va, pr), 3), round(recall_score(y_va, pr), 3), round(f1_score(y_va, pr), 3))
출력
0.2 0.588 0.93 0.721
0.3 0.655 0.884 0.752
0.5 0.763 0.674 0.716
0.7 0.875 0.488 0.627

임계값을 낮추면 1이라고 답하는 표본이 늘기만 하므로 재현율은 내려가지 않는다. 정밀도는 대체로 떨어지지만, 새로 1이 된 표본에 진짜 1이 많으면 잠깐 오를 수도 있다(그림 왼쪽의 오르내림). 그래서 둘은 대개 한쪽을 올리면 다른 쪽이 내려간다. 암 검진의 1차 선별처럼 놓치면 큰일이면 재현율을, 스팸 차단처럼 잘못된 경보의 비용이 크면(중요한 메일이 스팸함으로) 정밀도를 우선한다. 임계값은 검증 데이터에서 고르고, 테스트에는 고른 값을 그대로 쓴다.

수학 상자: 확률과 혼동행렬

섹션 제목: “수학 상자: 확률과 혼동행렬”

혼동행렬의 지표는 조건부 확률(conditional probability)로 읽을 수 있다. P(A∣B)P(A \mid B)는 “B인 경우만 놓고 봤을 때 A의 비율”이다.

지표 조건부 확률 혼동행렬에서
재현율 P(예측 1∣정답 1)P(\text{예측 }1 \mid \text{정답 }1) 정답 1인 행에서 예측 1의 비율
정밀도 P(정답 1∣예측 1)P(\text{정답 }1 \mid \text{예측 }1) 예측 1인 열에서 정답 1의 비율
거짓양성률(FPR) P(예측 1∣정답 0)P(\text{예측 }1 \mid \text{정답 }0) 정답 0인 행에서 예측 1의 비율

재현율과 정밀도는 조건이 반대다. 재현율과 FPR은 정답 행 안에서 계산한다. 그래서 1·0 각각의 점수 분포는 그대로이고 1의 비율(기저율, base rate)만 바뀐다고 가정하면 재현율과 FPR은 그대로지만, 정밀도는 기저율에 따라 크게 변한다. 같은 검사(재현율 0.9, FPR 0.1)를 1이 37%인 집단과 1%인 집단에 쓰면:

recall_, fpr = 0.9, 0.1
for base in [0.37, 0.01]:
tp_r, fp_r = recall_ * base, fpr * (1 - base) # 전체 대비 TP·FP 비율
print(base, round(tp_r / (tp_r + fp_r), 3))
출력
0.37 0.841
0.01 0.083

1이 드문 집단에서는 “1이라고 한 것”의 대부분이 잘못된 경보다. 검증 데이터의 범주 비율이 실제 사용 환경과 다르면 정밀도도 달라진다.

ROC 곡선과 AUC

섹션 제목: “ROC 곡선과 AUC”

임계값마다 정밀도·재현율이 달라지니, 임계값을 정하기 전에 모델 자체를 비교할 지표도 필요하다. 임계값을 1에서 0으로 내리며 (FPR, 재현율) 점을 이은 것이 ROC 곡선이고, 그 아래 넓이가 AUC(area under the ROC curve)다. 재현율을 ROC에서는 참양성률(TPR)이라고도 부른다.

from sklearn.metrics import roc_curve, roc_auc_score
fpr_v, tpr_v, thr_v = roc_curve(y_va, p_va)
print(len(thr_v), round(roc_auc_score(y_va, p_va), 3))
pos, neg = p_va[y_va == 1], p_va[y_va == 0]
pairs = (pos[:, None] > neg[None, :]).mean() + 0.5 * (pos[:, None] == neg[None, :]).mean()
print(round(pairs, 3)) # 1·0 쌍에서 1의 점수가 더 높은 비율
출력
32 0.89
0.89
임계값을 낮추면 재현율은 오르고 정밀도는 대체로 내려가며, ROC 곡선 아래 넓이가 AUC다임계값을 낮추면 재현율은 오르고 정밀도는 대체로 내려가며, ROC 곡선 아래 넓이가 AUC다

그림 설명. 유방암 특성 2개 모델의 검증 데이터 결과다. 왼쪽은 가로축 임계값(0~1), 세로축 비율(0~1)에 정밀도(파랑)와 재현율(빨강)을 그렸다. 임계값을 0 쪽으로 낮출수록 재현율은 1에 가까워지고 정밀도는 약 0.38(악성 비율)까지 내려가며, 중간중간 정밀도가 잠깐 오르는 곳이 있다. 점선은 기본 임계값 0.5다. 오른쪽 ROC 곡선은 가로축 거짓양성률(FPR), 세로축 재현율(TPR)이다. 곡선이 왼쪽 위로 휠수록 좋은 모델이고, 대각선 점선이 무작위(AUC 0.5)다. 이 모델의 AUC는 0.89이며, 빨간 점은 임계값 0.7·0.5·0.2의 위치로 임계값을 낮출수록 오른쪽 위로 옮겨 간다.

5-6. 회귀 지표

섹션 제목: “5-6. 회귀 지표”

03장의 당뇨병 데이터로 회귀 지표 세 가지를 비교한다.

지표 식 단위 특징
MAE(mean absolute error) 1N∑i∣y^i−yi∣\dfrac{1}{N} \sum_i \lvert \hat{y}_i - y_i \rvert 정답과 같음 오차를 그대로 평균. 이상치에 덜 민감
RMSE 1N∑i(y^i−yi)2\sqrt{\dfrac{1}{N} \sum_i (\hat{y}_i - y_i)^2} 정답과 같음 큰 오차를 더 크게 벌함. 항상 MAE 이상
R²(결정계수) 1−∑i(y^i−yi)2∑i(yi−yˉ)21 - \dfrac{\sum_i (\hat{y}_i - y_i)^2}{\sum_i (y_i - \bar{y})^2} 없음 1 완벽, 0은 늘 평균으로 예측한 수준, 더 나쁘면 음수. yˉ\bar{y}는 평가 데이터 정답의 평균이고, 정답이 모두 같으면 식이 정의되지 않는다
from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, root_mean_squared_error, r2_score
dia = load_diabetes(scaled=False)
Xd_tr, Xd_te, yd_tr, yd_te = train_test_split(dia.data, dia.target, test_size=0.2, random_state=0)
yd_hat = LinearRegression().fit(Xd_tr, yd_tr).predict(Xd_te)
print(round(mean_absolute_error(yd_te, yd_hat), 2), round(root_mean_squared_error(yd_te, yd_hat), 2),
round(r2_score(yd_te, yd_hat), 3))
bad = yd_hat.copy()
bad[0] += 500 # 한 명만 크게 틀렸다면
print(round(mean_absolute_error(yd_te, bad), 2), round(root_mean_squared_error(yd_te, bad), 2))
출력
46.17 58.52 0.332
49.94 72.84

5-7. 과적합

섹션 제목: “5-7. 과적합”

모델이 훈련 데이터의 잡음까지 외우면 훈련 오차는 작아지지만 처음 보는 데이터의 오차는 커진다. 이것을 과적합(overfitting)이라 한다. 반대로 모델이 너무 단순해 훈련 데이터의 패턴도 못 잡으면 과소적합(underfitting)이다.

곡선 모양 데이터에 다항식을 맞추며 차수(degree)를 바꿔 본다. 차수가 모델의 복잡도다. PolynomialFeatures가 xx를 [1,x,x2,…,x차수][1, x, x^2, \dots, x^{\text{차수}}]로 늘리고, 그 위에 04장의 선형 회귀를 맞춘다.

from sklearn.preprocessing import PolynomialFeatures
rng = np.random.default_rng(1)
x = rng.uniform(-1, 1, 40)
yc = np.sin(np.pi * x) + rng.normal(0, 0.25, 40) # 사인 곡선 + 잡음
idx = rng.permutation(40)
tr, va = idx[:12], idx[12:] # 훈련 12, 검증 28
def rmse(a, b):
return np.sqrt(np.mean((a - b) ** 2))
for deg in [1, 3, 5, 7, 9]:
poly = PolynomialFeatures(deg).fit(x[tr, None])
m = LinearRegression().fit(poly.transform(x[tr, None]), yc[tr])
r_tr = rmse(m.predict(poly.transform(x[tr, None])), yc[tr])
r_va = rmse(m.predict(poly.transform(x[va, None])), yc[va])
print(f"차수 {deg:2d}: 훈련 RMSE {r_tr:.3f}, 검증 RMSE {r_va:.3f}")
출력
차수 1: 훈련 RMSE 0.533, 검증 RMSE 0.563
차수 3: 훈련 RMSE 0.153, 검증 RMSE 0.237
차수 5: 훈련 RMSE 0.137, 검증 RMSE 0.245
차수 7: 훈련 RMSE 0.115, 검증 RMSE 0.305
차수 9: 훈련 RMSE 0.083, 검증 RMSE 4.653
차수 1은 곡선을 따라가지 못하고, 차수 3은 참 곡선에 가깝고, 차수 9는 훈련 점을 지나며 크게 휜다차수 1은 곡선을 따라가지 못하고, 차수 3은 참 곡선에 가깝고, 차수 9는 훈련 점을 지나며 크게 휜다

그림 설명. 위 왼쪽·위 오른쪽·아래 왼쪽은 가로축 xx(−1~1), 세로축 yy(−2~2)에 참 곡선(점선, 사인 곡선), 훈련 점 12개(채운 점), 검증 점 28개(빈 점), 학습한 다항식을 그렸다. 차수 1은 직선이라 곡선을 따라가지 못하고, 차수 3은 참 곡선과 거의 겹치며, 차수 9는 훈련 점을 거의 지나지만 훈련 점이 없는 양 끝에서 세로 범위 밖으로 크게 휜다. 아래 오른쪽은 가로축 차수(1~9), 세로축 RMSE(로그 눈금)다. 훈련 RMSE는 차수를 올릴수록 계속 내려가지만, 검증 RMSE는 차수 3 근처에서 가장 낮고 그 뒤로 올라가 차수 9에서 약 4.7이 된다.

상태 훈련 오차 검증 오차 이 예에서 손쓸 방법
과소적합 크다 크다 차수 1 더 복잡한 모델, 특성 추가
적당 작다 가장 작다 차수 3~5
과적합 아주 작다 커진다 차수 7 이상 더 많은 데이터, 단순한 모델, 정규화(6장), 조기 종료(11장)

5-8. 교차검증

섹션 제목: “5-8. 교차검증”

검증 점수 하나는 운이 섞인다

섹션 제목: “검증 점수 하나는 운이 섞인다”

5-3절에서 떼어 둔 테스트는 그대로 두고, 나머지(X_tmp)를 훈련·검증으로 나누는 random_state만 바꿔 같은 모델의 검증 AUC를 본다.

from sklearn.pipeline import make_pipeline
aucs = []
for seed in range(6):
a_tr, a_va, b_tr, b_va = train_test_split(X_tmp, y_tmp, test_size=0.25, stratify=y_tmp, random_state=seed)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(a_tr, b_tr)
aucs.append(roc_auc_score(b_va, model.predict_proba(a_va)[:, 1]))
print(np.round(aucs, 3))
출력
[0.89 0.902 0.829 0.856 0.87 0.816]

k-겹 교차검증

섹션 제목: “k-겹 교차검증”

k-겹 교차검증(k-fold cross-validation)은 데이터를 k조각으로 나눠, 조각 하나씩 돌아가며 검증으로 쓰고 나머지로 학습한다. 모든 표본이 한 번씩 검증에 쓰이고, 점수가 k개 나온다. 분류에서는 조각마다 범주 비율을 지키는 StratifiedKFold를 쓴다.

from sklearn.model_selection import StratifiedKFold, cross_val_score
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
for i, (a, b) in enumerate(cv.split(X_tmp, y_tmp)):
print(i, len(a), len(b), round(y_tmp[b].mean(), 3))
출력
0 364 91 0.374
1 364 91 0.374
2 364 91 0.374
3 364 91 0.374
4 364 91 0.374

테스트(X_te)는 빼 두고 나머지 455명(X_tmp)만 5조각으로 나눴다. 이제 특성 2개 모델과 30개 모델을 비교한다.

X30 = bc.data.to_numpy()
X30_tmp, X30_te, _, _ = train_test_split(X30, y, test_size=0.2, stratify=y, random_state=0) # 같은 환자 분할
for name, Xc in [("특성 2개", X_tmp), ("특성 30개", X30_tmp)]:
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
s = cross_val_score(model, Xc, y_tmp, cv=cv, scoring="roc_auc")
print(name, s.round(3), "평균", round(s.mean(), 3), "표준편차", round(s.std(ddof=1), 3))
출력
특성 2개 [0.779 0.89 0.828 0.826 0.928] 평균 0.85 표준편차 0.059
특성 30개 [0.994 1. 0.976 0.987 1. ] 평균 0.992 표준편차 0.01

마지막에 테스트 한 번

섹션 제목: “마지막에 테스트 한 번”

모델을 고른 뒤에야 테스트를 쓴다. 고른 설정으로 훈련 데이터와 검증 데이터 전체(X30_tmp)를 써서 모델을 다시 학습시킨 뒤, 테스트 데이터에서 한 번 잰다.

final = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X30_tmp, y_tmp)
p_te = final.predict_proba(X30_te)[:, 1]
print("테스트 AUC", round(roc_auc_score(y_te, p_te), 3), "/ 재현율", round(recall_score(y_te, (p_te >= 0.5).astype(int)), 3))
print(confusion_matrix(y_te, (p_te >= 0.5).astype(int)).ravel())
출력
테스트 AUC 0.993 / 재현율 0.952
[71 1 2 40]

테스트 점수가 기대보다 낮게 나와도 여기서 다시 고치지 않는다. 고치면 테스트가 검증이 되어 버린다. 결과를 그대로 보고하고, 다음 개선은 새 테스트 데이터로 확인한다.

수학 상자: 표본과 분산

섹션 제목: “수학 상자: 표본과 분산”

교차검증 점수 5개는 “무한히 많은 분할에서 나올 점수” 중 몇 개를 뽑은 표본(sample)이다. 표본으로 전체의 평균과 흩어짐을 추정한다.

import pandas as pd
s = np.array([0.779, 0.890, 0.828, 0.826, 0.928])
print(round(s.std(), 4), round(s.std(ddof=1), 4), round(pd.Series(s).std(), 4))
출력
0.0525 0.0587 0.0587

NumPy std는 기본이 k로 나누는 것(ddof=0), pandas std는 k − 1(ddof=1)이다(03장). 표본이 5개처럼 적으면 차이가 크므로 무엇을 썼는지 적는다. 교차검증 결과는 평균과 조각별 표준편차를 그대로 보고하고, 표준오차로 바꿔 “평균이 이만큼만 흔들린다”고 말하지 않는다.

5-9. 데이터 누수

섹션 제목: “5-9. 데이터 누수”

데이터 누수(data leakage)는 예측할 때는 쓸 수 없는 정보가 학습이나 평가에 섞이는 것이다. 검증 점수는 좋은데 실제 사용에서 무너지는 가장 흔한 원인이다.

종류 예 막는 법
전처리 누수 스케일러·인코더·결측 대체값·특성 선택을 전체 데이터로 fit한 뒤 나눔 나눈 뒤 훈련 데이터로만 fit. 교차검증에서는 파이프라인 안에 넣기
정답 누수 정답이 정해진 뒤에야 생기는 값이 특성에 있음(예: 불량 판정 뒤 붙는 “반품 처리 비용”) 예측 시점에 알 수 있는 특성만 쓰기
그룹 누수 같은 환자의 사진 여러 장이 훈련과 검증에 나뉘어 들어감 사람·기기 단위로 나누기(GroupKFold)
시간 누수 미래 데이터로 학습하고 과거를 검증 시간순으로 나누기(TimeSeriesSplit)

전처리 누수를 눈으로 보기

섹션 제목: “전처리 누수를 눈으로 보기”

정답과 아무 관계 없는 무작위 특성 5000개와 무작위 정답 100개를 만든다. 진짜 실력은 정확도 0.5(동전 던지기)여야 한다. 정답과 상관이 높은 특성 20개를 고르는 SelectKBest를 두 방식으로 쓴다.

from sklearn.feature_selection import SelectKBest, f_classif
r = np.random.default_rng(0)
Xn, yn = r.normal(size=(100, 5000)), r.integers(0, 2, 100)
Xn_sel = SelectKBest(f_classif, k=20).fit_transform(Xn, yn) # 잘못: 전체 데이터로 특성 선택
leak = cross_val_score(LogisticRegression(), Xn_sel, yn, cv=5)
pipe = make_pipeline(SelectKBest(f_classif, k=20), LogisticRegression()) # 바름: 조각마다 훈련 부분으로만 선택
clean = cross_val_score(pipe, Xn, yn, cv=5)
print("누수", leak.round(2), round(leak.mean(), 2))
print("바름", clean.round(2), round(clean.mean(), 2))
출력
누수 [0.7 0.8 0.85 0.9 1. ] 0.85
바름 [0.45 0.6 0.3 0.45 0.6 ] 0.48

5-10. 지표 고르기

섹션 제목: “5-10. 지표 고르기”
상황 볼 지표 이유
범주가 고르고 두 오류의 비용이 비슷하다 정확도 가장 설명하기 쉽다
1을 놓치면 큰일이다(질병 1차 선별, 사기 탐지) 재현율(+ 정밀도 하한) FN을 줄인다. 정밀도가 너무 떨어지지 않게 함께 본다
잘못된 경보의 비용이 크다(스팸 차단, 자동 처벌) 정밀도(+ 재현율 하한) FP를 줄인다
둘 다 중요하고 범주가 불균형하다 F1 정확도의 함정을 피하고 두 오류를 함께 본다
임계값을 아직 정하지 않고 모델을 비교한다 AUC 순서만 보므로 임계값과 무관
숫자 예측, 큰 오차가 특히 나쁘다 RMSE 큰 오차를 크게 벌한다
숫자 예측, 이상치가 섞였거나 평균 오차를 설명해야 한다 MAE 이상치에 덜 민감, 해석이 직관적
평균 예측 기준선보다 얼마나 나은지 단위 없이 말해야 한다 R² 같은 평가 데이터 안에서만 비교하고, RMSE·MAE와 함께 보고

시험·대회처럼 채점 지표가 정해져 있으면 그 지표로 검증한다. 정확도로 고른 모델이 F1에서도 가장 좋다는 보장은 없다.

5-11. 선택 기준표에 추가

섹션 제목: “5-11. 선택 기준표에 추가”
상황 고를 것 이유 장
모델 성능을 잰다 훈련·검증·테스트로 나누고(분류는 stratify), 고르기는 검증에서, 테스트는 마지막 한 번 훈련 점수는 일반화를 말해 주지 않고, 테스트로 고르면 점수가 낙관적이 된다 05
데이터가 수천 개 이하이거나 두 모델의 차이가 작다 k-겹 교차검증(분류는 StratifiedKFold), 평균 ± 표준편차로 비교 검증 한 번의 점수는 분할 운에 흔들린다 05
범주가 불균형한 분류 정확도 대신 재현율·정밀도·F1·AUC, “모두 다수 범주” 기준선과 비교 아무것도 안 배운 모델도 정확도가 높게 나온다 05
FN과 FP의 비용이 다르다 확률을 내는 모델 + 검증 데이터에서 임계값 고르기 0.5는 기본값일 뿐, 목적에 맞는 임계값은 사람이 정한다 05
fit하는 전처리(스케일러·인코더·특성 선택)가 있다 나눈 뒤 훈련 데이터로만 fit, 교차검증은 make_pipeline으로 묶기 전체로 fit하면 검증 정보가 새어 점수가 부풀려진다 05

확인 문제

섹션 제목: “확인 문제”

5-12. 실습과 문제

섹션 제목: “5-12. 실습과 문제”

실습/문제/ch05_일반화와_평가.ipynb를 .venv 커널로 열고 위에서부터 푼다. 내려받기가 없고 CPU로 1분 안에 끝난다. 다 푼 뒤 해설 노트북과 비교한다.

번호 유형 내용
1 개념 훈련·검증·테스트 역할과 과적합 참/거짓
2 코드 혼동행렬 칸 수 직접 세기
3 코드 정밀도·재현율·F1 직접 계산(0으로 나누기 처리 포함)
4 개념 분류·회귀 지표 참/거짓
5 코드 목표 재현율을 만족하는 임계값 고르기
6 코드 쌍 비교로 AUC 계산, roc_auc_score와 비교
7 코드 검증 오차로 다항식 차수 고르기
8 코드 k-겹 교차검증을 직접 구현(조각마다 스케일러 fit)
9 사례 검증 점수가 너무 좋은 모델의 누수 진단
10 사례 상황별 지표 고르기

5-13. 공식 문서와 참고 자료

섹션 제목: “5-13. 공식 문서와 참고 자료”