AI 기초 › 04장
학습이란: 선형 회귀를 직접
01장에서 머신러닝을 “정답이 달린 예시에서 규칙을 찾는 것”이라고 했다. 이 장에서는 규칙을 찾는 데 어떤 계산이 필요한지 직접 확인한다. 가장 단순한 모델인 선형 회귀(linear regression)를 NumPy로 처음부터 학습시키고, 같은 결과를 scikit-learn이 한 줄로 내는 것을 확인한다. 여기서 익히는 모델·손실·최적화의 세 요소와 경사하강법은 로지스틱 회귀(6장)부터 신경망(10장), LLM(16장)까지 그대로 이어진다.
4-1. 이 장의 목표와 완료 기준
섹션 제목: “4-1. 이 장의 목표와 완료 기준”| 목표 | 완료 기준 |
|---|---|
| 특성·정답·표본을 구분한다 | X·y의 shape를 말하고, y의 종류로 회귀와 분류를 가른다 |
| 선형 회귀를 설명한다 | 예측식이 가중합이라는 뜻과 계수 ·의 해석을 말하고, 곡선 관계·이상치·외삽에 약한 이유를 말한다 |
| 학습의 세 요소를 말한다 | 모델·손실·최적화가 각각 무엇인지 선형 회귀로 설명한다 |
| 손실을 계산한다 | 평균제곱오차(MSE)를 NumPy로 쓰고, y가 (N, 1)일 때 생기는 브로드캐스팅 함정을 피한다 |
| 그래디언트를 구한다 | MSE의 w·b 편미분을 코드로 쓰고 수치 미분으로 검산한다 |
| 경사하강법을 구현한다 | 반복 갱신으로 손실을 줄이고, 결과가 LinearRegression과 같은지 확인한다 |
| 학습률을 고른다 | 너무 작음·적당·너무 큼(발산)을 손실 곡선으로 구분하고, 특성 스케일이 학습률에 주는 영향을 말한다 |
| 최소제곱 해를 안다 | 선형 회귀는 반복 없이 한 번에 풀 수 있음을 np.linalg.lstsq로 확인하고, 그래도 경사하강법이 필요한 이유를 말한다 |
| 선택 기준표에 줄을 더한다 | 선형 회귀·경사하강법·표준화를 언제 쓰는지 적는다 |
| 실습 노트북 04를 끝낸다 | 실습/문제/ch04_학습이란_선형_회귀를_직접.ipynb의 점검 셀이 모두 “통과”를 출력한다 |
예상 시간: 원고 1시간 30분, 실습 1시간 30분.
4-2. 왜 선형 회귀부터인가
섹션 제목: “4-2. 왜 선형 회귀부터인가”- 모델이 단순해서 계산을 손으로 따라갈 수 있다. 예측은 02장의 행렬곱
X @ w + b한 번이다. - 그런데도 학습의 뼈대가 다 들어 있다. 예측을 만들고(모델), 얼마나 틀렸는지 재고(손실), 덜 틀리게 매개변수를 고친다(최적화). 신경망에서도 이 세 요소의 틀은 그대로이고, 가장 크게 바뀌는 것은 예측을 만드는 식(모델)이다. 손실과 최적화 방법도 과제에 따라 달라질 수 있다.
- 표 데이터에서 실제로 쓰는 기준선(baseline)이다. 03장에서 만든 숫자 표를 바로 넣을 수 있고, 계수를 읽으면 특성마다 예측에 주는 영향을 볼 수 있다.
← 좌우로 밀거나, 그림을 누른 뒤 ← → 키로 옮겨 전체를 본다
그림 설명. 상자 세 개가 고리로 이어진다. ① 모델이 현재 매개변수 , 로 예측 를 만든다. ② 손실이 예측과 정답 를 비교해 MSE 하나를 낸다. ③ 최적화가 손실을 줄이는 방향으로 , 를 고쳐 ①로 돌려보낸다. 이 고리를 한 번 도는 것이 스텝 하나이고, 이 장은 세 상자를 하나씩 코드로 만든다.
4-3. 특성·정답·표본
섹션 제목: “4-3. 특성·정답·표본”지도 학습의 데이터는 두 부분이다.
- 특성(feature)
X: 입력. shape(N, d). 행 하나가 표본(sample) 하나, 열 하나가 특성 하나다(02·03장). - 정답(target, label)
y: 표본마다 맞혀야 할 값. shape(N,).
이 장의 첫 예제는 학생 30명의 공부 시간과 시험 점수다(가상 데이터).
import numpy as np
rng = np.random.default_rng(0)N = 30hours = rng.uniform(0, 10, N).round(1) # 공부 시간(시간)score = (4 * hours + 50 + rng.normal(0, 4, N)).round(1) # 시험 점수X = hours.reshape(-1, 1) # 특성 1개 → (N, 1)y = score # 정답 → (N,)print(X.shape, y.shape)print(X[:5].ravel(), y[:5])(30, 1) (30,)[6.4 2.7 0.4 0.2 8.1] [71.6 60. 51. 53. 83.3]- 특성이 하나여도
X는 2차원(N, 1)로 둔다. sklearn 모델은 2차원X를 받는다(02장). - 정답
score는 ""에 잡음을 더해 만들었다. 학습이 잘되면 기울기 약 4, 절편 약 50을 찾아야 한다. 실제 데이터에서는 이런 참값을 모른다.
회귀와 분류는 y의 종류로 가른다(01장). 점수(숫자)를 맞히면 회귀, “60점 이상인가”(범주)를 맞히면 분류다. 같은 X에 y만 바꾸면 과제가 바뀐다.
y_pass = (score >= 60).astype(int) # 분류용 정답: 합격 1, 불합격 0print(y[:5], y_pass[:5], np.unique(y_pass))[71.6 60. 51. 53. 83.3] [1 1 0 0 1] [0 1]이 장은 회귀만 다룬다. 0/1 정답을 직선으로 맞히면 예측이 0~1 밖으로 나가므로 분류는 확률을 내는 로지스틱 회귀(6장)로 푼다.
4-4. 학습의 세 요소: 모델·손실·최적화
섹션 제목: “4-4. 학습의 세 요소: 모델·손실·최적화”모델: 예측을 만드는 식
섹션 제목: “모델: 예측을 만드는 식”선형 회귀의 모델은 특성마다 가중치(weight)를 곱해 더하고 절편(bias)을 더한다.
| 기호 | 뜻 | shape |
|---|---|---|
X |
특성 | (N, d) |
w |
가중치(특성마다 하나) | (d,) |
b |
절편(숫자 하나) | 스칼라 |
ŷ(y_hat) |
예측 | (N,) |
w와 b처럼 학습으로 정하는 값을 매개변수(parameter)라 한다. 학습률처럼 사람이 정해 주는 값은 하이퍼파라미터(hyperparameter)다(4-7절).
def predict(X, w, b): return X @ w + b # (N, d) @ (d,) → (N,)
print(predict(X[:3], np.array([4.0]), 50.0))[75.6 60.8 51.6]선형 회귀가 하는 일. 선형 회귀는 특성마다 가중치를 곱해 더한 값(가중합)에 절편을 더해 숫자를 예측하는 모델이다. “선형”은 이 가중합 모양을 가리킨다. 특성이 하나면 예측은 직선 이고, 둘이면 평면, 그보다 많으면 초평면(hyperplane, 평면을 높은 차원으로 넓힌 것)이다. 학습은 데이터 점들에 가장 가까운 직선(평면)을 고르는 일이고, “가깝다”를 재는 자가 아래의 손실이다.
← 좌우로 밀거나, 그림을 누른 뒤 ← → 키로 옮겨 전체를 본다
그림 설명. 가로축은 공부 시간(0~10시간), 세로축은 시험 점수다. 점 30개가 학생이고, 직선은 4-6절에서 학습으로 찾을 다. 점마다 직선까지 그은 세로 선분의 길이가 잔차의 크기(절댓값)다. 점이 직선보다 위에 있으면 잔차가 양수, 아래에 있으면 음수다. 학습은 잔차 제곱의 평균(MSE)이 가장 작은 직선을 고른다.
계수 읽기. 는 기울기다. 위 직선이면 공부 시간이 1시간 늘 때 예측 점수가 약 4점 는다. 는 절편으로, 공부 시간이 0일 때의 예측(약 51점)이다. 특성이 여럿이면 는 “다른 특성은 그대로 두고 만 1 늘 때” 예측이 바뀌는 양이다. 이 해석은 데이터에 나타난 관계를 요약한 것이다. 공부 시간을 늘리면 점수가 오른다는 인과관계를 증명하지는 않는다.
손실: 얼마나 틀렸나
섹션 제목: “손실: 얼마나 틀렸나”정답과 예측의 차이 를 잔차(residual)라 한다. 이 장의 계산에서는 부호만 바꾼 예측 오차 를 쓴다. 제곱하면 둘은 같다. 회귀에서 가장 흔한 손실은 잔차 제곱의 평균인 평균제곱오차(MSE, mean squared error)다.
- 제곱하므로 음수 잔차와 양수 잔차가 상쇄되지 않고, 큰 오차를 더 크게 벌한다.
- 단위가 라서 읽기 어렵다. 보고할 때는 제곱근을 씌운 RMSE(root MSE, 점수 단위)를 쓴다.
def mse(y, y_hat): return np.mean((y_hat - y) ** 2)
for w1 in [0.0, 2.0, 4.0, 6.0]: print(w1, round(mse(y, predict(X, np.array([w1]), 50.0)), 2))0.0 680.382.0 193.144.0 15.226.0 146.6근처에서 손실이 가장 작다. 학습은 손실을 가장 작게 만드는 매개변수를 찾는 일이다.
shape 함정. y가 (N, 1)로 들어오면 오류 없이 틀린 손실이 나온다.
y_col = y.reshape(-1, 1) # (N, 1): CSV에서 df[["점수"]]로 읽으면 이렇게 된다y_hat = predict(X, np.array([4.0]), 50.0) # (N,)print((y_hat - y_col).shape)print(round(mse(y, y_hat), 2), round(mse(y_col, y_hat), 2))(30, 30)15.22 336.6(N,)과 (N, 1)을 빼면 브로드캐스팅(02장)으로 (N, N) 표가 생겨 모든 학생 쌍의 차이를 평균 낸다. 손실 함수 첫 줄에서 y와 ŷ의 shape가 같은지 확인하거나 ravel()로 1차원을 맞춘다.
최적화: 손실이 작은 쪽으로 찾아가기
섹션 제목: “최적화: 손실이 작은 쪽으로 찾아가기”매개변수가 두 개(, )뿐이면 후보를 촘촘히 다 넣어 보는 격자 탐색도 된다.
ws, bs = np.linspace(0, 8, 81), np.linspace(30, 70, 81) # 0.1, 0.5 간격losses = np.array([[mse(y, predict(X, np.array([w1]), b1)) for b1 in bs] for w1 in ws])i, j = np.unravel_index(losses.argmin(), losses.shape)print(losses.shape, round(ws[i], 2), round(bs[j], 2), round(losses[i, j], 2))(81, 81) 4.0 51.0 13.99번 계산했다. 특성이 10개면 매개변수 11개이고 같은 촘촘함으로 번이 필요하다. 신경망은 매개변수가 수백만 개다. 그래서 “다 넣어 보기” 대신 지금 자리에서 손실이 줄어드는 방향을 계산해 조금씩 움직인다. 그 방향을 주는 것이 미분이다.
4-5. 수학 상자: 미분·편미분·그래디언트
섹션 제목: “4-5. 수학 상자: 미분·편미분·그래디언트”| 개념 | 뜻 | 이 장에서 |
|---|---|---|
| 미분(derivative) | 입력을 아주 조금 바꿀 때 출력이 바뀌는 비율, 그래프의 기울기 | : 를 조금 늘리면 손실이 얼마나 변하나 |
| 편미분(partial derivative) | 변수가 여러 개일 때 하나만 움직이고 나머지는 고정한 미분 | |
| 그래디언트(gradient) | 편미분을 모은 벡터. 함수가 가장 빨리 커지는 방향 | . 반대 방향 로 가면 손실이 준다 |
기울기가 양수면 를 줄여야, 음수면 늘려야 손실이 준다. 즉 기울기의 반대 방향으로 움직인다.
수치 미분은 정의를 따라 아주 조금 움직여 보는 근사다. (는 작은 수). 가 너무 크면 근사 오차가, 너무 작으면 반올림 오차가 커지므로 1e-5 안팎을 쓴다.
def loss_w(w1): # b = 50으로 고정한 손실 return mse(y, predict(X, np.array([w1]), 50.0))
h = 1e-5for w1 in [2.0, 4.0, 6.0]: print(w1, round((loss_w(w1 + h) - loss_w(w1 - h)) / (2 * h), 3))2.0 -166.2914.0 -11.6356.0 143.021에서는 기울기가 음수(를 늘리면 손실이 줄어든다), 에서는 양수다. 에서는 으로 0에 가까워졌다(를 50으로 고정했으므로 바닥은 4보다 조금 오른쪽이다). 손실이 가장 작은 곳은 기울기가 0인 곳이다.
수치 미분은 매개변수 하나마다 손실을 두 번 계산해야 해서 느리다. MSE는 식으로 미분할 수 있다. 가중치 가 바뀌면 예측 가 바뀌고(), 예측이 바뀌면 손실이 바뀐다(). 두 변화율을 곱해 모든 표본에 대해 더하는 것이 연쇄 법칙(chain rule)이다(10장에서 신경망 전체로 넓힌다).
이것을 모든 에 대해 한꺼번에 쓰면 행렬곱이 된다.
def gradient(X, y, w, b): err = predict(X, w, b) - y # 예측 오차 ŷ − y (N,) dw = 2 / len(y) * (X.T @ err) # (d, N) @ (N,) → (d,) db = 2 / len(y) * err.sum() return dw, db
dw, db = gradient(X, y, np.array([2.0]), 50.0)num_db = (mse(y, predict(X, np.array([2.0]), 50.0 + h)) - mse(y, predict(X, np.array([2.0]), 50.0 - h))) / (2 * h)print(dw.round(3), round(db, 3), round(num_db, 3))[-166.291] -23.613 -23.613식으로 구한 값과 수치 미분이 반올림한 자리까지 같다. 그래디언트 코드를 새로 쓰면 작은 데이터에서 수치 미분과 비교해 검산한다. PyTorch의 자동 미분(autograd, 10장)이 이 계산을 대신 해 준다. dw의 shape가 w와 같은 (d,)라는 점도 확인한다. 매개변수마다 기울기가 하나씩 있어야 갱신할 수 있다.
4-6. 경사하강법을 NumPy로
섹션 제목: “4-6. 경사하강법을 NumPy로”경사하강법(gradient descent)은 그래디언트의 반대 방향으로 조금씩 반복해서 움직인다.
(에타)는 학습률(learning rate), 한 번에 얼마나 움직일지 정하는 하이퍼파라미터다. 한 번 갱신하는 것을 스텝(step)이라 한다.
def fit_gd(X, y, lr, steps): w, b = np.zeros(X.shape[1]), 0.0 # 0에서 출발 history = [] for _ in range(steps): history.append(float(mse(y, predict(X, w, b)))) # 갱신 전 손실 기록 dw, db = gradient(X, y, w, b) w, b = w - lr * dw, b - lr * db return w, b, history
w, b, hist = fit_gd(X, y, lr=0.01, steps=3000)print([round(hist[t], 1) for t in (0, 1, 10, 100, 1000, 2999)])print(w.round(3), round(b, 3))[5430.4, 864.6, 594.3, 244.6, 14.0, 14.0][3.987] 51.185손실이 처음에 빠르게, 나중에는 천천히 줄었다. 찾은 기울기와 절편은 참값(4, 50)에 가깝지만 같지는 않다. 잡음이 섞인 30명의 데이터에서 손실이 가장 작은 직선을 찾았기 때문이다. sklearn의 답과 비교한다.
from sklearn.linear_model import LinearRegression
lin = LinearRegression().fit(X, y)print(lin.coef_.round(3), round(lin.intercept_, 3))print(round(mse(y, predict(X, w, b)), 4), round(mse(y, lin.predict(X)), 4))[3.987] 51.18513.974 13.974같은 답이다. LinearRegression의 coef_가 w, intercept_가 b다. 이 예제처럼 보통의 배열을 넣으면 sklearn은 반복하지 않고 한 번에 푼다(4-8절).
4-7. 학습률 실험
섹션 제목: “4-7. 학습률 실험”학습률만 바꿔 같은 스텝 수를 돌린다.
for lr in [0.001, 0.01, 0.03]: with np.errstate(over="ignore", invalid="ignore"): # 발산할 때 경고 숨기기 w_lr, b_lr, h_lr = fit_gd(X, y, lr=lr, steps=1000) print(lr, [f"{h_lr[t]:.3g}" for t in (0, 10, 100, 999)], f"w={w_lr[0]:.3g} b={b_lr:.3g}")0.001 ['5.43e+03', '1.57e+03', '594', '245'] w=8.13 b=21.40.01 ['5.43e+03', '594', '245', '14'] w=4.03 b=50.90.03 ['5.43e+03', '2.39e+06', '4.71e+30', '2.26e+273'] w=-1.02e+136 b=-1.42e+135← 좌우로 밀거나, 그림을 누른 뒤 ← → 키로 옮겨 전체를 본다
그림 설명. 왼쪽은 공부 시간 데이터로 , 를 함께 학습할 때 스텝(가로, 0~1000)에 따른 손실 MSE(세로, 로그 눈금 10~10000)다. 학습률 0.001은 1000스텝 뒤에도 약 245에 머물고, 0.01은 100스텝 무렵 약 245를 지나 14 근처에서 평평해지며, 0.03은 몇 스텝 만에 그래프 위로 벗어난다. 오른쪽은 를 51.185로 고정하고 (가로, −2.5~10.5)만 움직일 때의 손실 곡선(세로, MSE 0~2200) 위에 0에서 출발한 걸음을 점으로 찍은 것이다. 학습률 0.005는 한쪽에서 바닥 쪽으로 내려가고, 0.02는 바닥 양쪽을 오가며 내려가고, 0.027은 오갈 때마다 더 높이 올라간다.
| 학습률 | 손실 곡선 | 왜 |
|---|---|---|
| 너무 작다(0.001) | 꾸준히 줄지만 1000스텝 뒤에도 손실 245, , 로 아직 멀다 | 한 걸음이 너무 짧다. 0.01의 10스텝 손실(594)을 100스텝 만에야 낸다 |
| 적당하다(0.01) | 빠르게 줄어 평평해진다 | |
| 너무 크다(0.03) | 줄지 않고 점점 커진다(발산). 더 돌리면 inf·nan이 된다 |
골짜기 바닥을 지나쳐 반대편 더 높은 곳에 떨어지기를 반복한다 |
같은 데이터라도 움직이는 매개변수가 달라지면 발산하는 경계도 달라진다(왼쪽은 0.03에서 발산).
아래에서 학습률을 직접 바꿔 오른쪽 그림과 같은 걸음을 확인해 본다.
걸음마다 값 보기
| 스텝 | w | 손실 MSE |
|---|---|---|
| 0 | 0.000 | 628.5 |
| 1 | 1.541 | 245.2 |
| 2 | 2.487 | 100.9 |
| 3 | 3.067 | 46.7 |
| 4 | 3.422 | 26.3 |
| 5 | 3.641 | 18.6 |
| 6 | 3.774 | 15.7 |
| 7 | 3.856 | 14.6 |
| 8 | 3.907 | 14.2 |
직접 해 볼 것
- 학습률 0.005와 0.020을 비교한다. 어느 쪽이 바닥(점선, w ≈ 3.99)을 지나쳤다 돌아오는가?
- 학습률을 0.001씩 올려 걸음이 높아지기 시작하는 값을 찾는다. 이 데이터에서는 약 0.0259다.
학습률을 고르는 방법. 0.1, 0.01, 0.001처럼 10배 간격으로 몇 개 돌려 손실 곡선을 보고, 발산하지 않는 범위에서 빨리 줄어드는 값을 고른다. 손실이 nan이면 먼저 학습률을 줄인다.
특성 스케일과 학습률
섹션 제목: “특성 스케일과 학습률”특성마다 단위가 다르면 경사하강법이 어려워진다. 당뇨병 데이터(03장)의 특성 10개로 target을 예측해 본다.
from sklearn.datasets import load_diabetesfrom sklearn.model_selection import train_test_split
dia = load_diabetes(as_frame=True, scaled=False)Xd, yd = dia.data.to_numpy(), dia.target.to_numpy()Xd_tr, Xd_te, yd_tr, yd_te = train_test_split(Xd, yd, test_size=0.2, random_state=0)print(Xd_tr.shape, Xd_te.shape)print(dict(zip(dia.data.columns, Xd_tr.std(axis=0).round(1).tolist())))
with np.errstate(over="ignore", invalid="ignore"): _, _, h_raw = fit_gd(Xd_tr, yd_tr, lr=0.01, steps=100)print([f"{h_raw[t]:.3g}" for t in (0, 1, 2, 5, 99)])(353, 10) (89, 10){'age': 13.3, 'sex': 0.5, 'bmi': 4.5, 'bp': 13.7, 's1': 34.2, 's2': 30.1, 's3': 12.8, 's4': 1.3, 's5': 0.5, 's6': 11.9}['2.91e+04', '5.02e+10', '1.08e+17', '1.06e+36', 'nan']sex·s5는 표준편차가 0.5인데 s1·s2(혈청 지표)는 30이 넘는다. 그래디언트 에는 특성 값 가 곱해진다. 그래서 특성의 단위가 크게 다르면 가중치마다 손실이 휘는 정도와 한 번에 움직이는 크기가 크게 달라지고(실제 크기는 예측 오차와의 관계에도 달려 있다), 공통 학습률 하나로 안정성과 빠른 수렴을 함께 얻기 어렵다. 큰 쪽이 발산하지 않게 학습률을 아주 작게 하면 작은 쪽은 거의 움직이지 않아 수렴이 매우 느리고, 작은 쪽에 맞춰 키우면 큰 쪽이 발산한다. 위에서는 학습률 0.01로도 몇 스텝 만에 손실이 폭발했다.
해결은 표준화(standardization)다. 특성마다 평균을 빼고 표준편차로 나눠 모두 평균 0, 표준편차 1로 맞춘다(02장 2-5절). 값이 하나뿐인 상수 특성은 표준편차가 0이라 나눌 수 없어서 StandardScaler는 모두 0으로 바꾼다. 03장의 결측 대체처럼 평균·표준편차는 훈련 데이터에서만 구한다.
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler().fit(Xd_tr) # 훈련 데이터의 평균·표준편차Zd_tr, Zd_te = scaler.transform(Xd_tr), scaler.transform(Xd_te)print(np.abs(Zd_tr.mean(axis=0)).max() < 1e-12, np.allclose(Zd_tr.std(axis=0), 1)) # 열마다 평균 0, 표준편차 1
w_d, b_d, h_d = fit_gd(Zd_tr, yd_tr, lr=0.1, steps=5000)print([round(h_d[t], 1) for t in (0, 10, 100, 1000, 4999)])True True[29115.1, 3040.5, 2745.9, 2735.1, 2734.8]같은 데이터를 표준화한 뒤에는 학습률이 0.1이어도 손실이 안정적으로 줄었다. 경사하강법(과 그 변형을 쓰는 신경망)에 표 데이터를 넣을 때는 표준화를 기본으로 한다.
4-8. sklearn과 비교, 그리고 최소제곱
섹션 제목: “4-8. sklearn과 비교, 그리고 최소제곱”같은 답인가
섹션 제목: “같은 답인가”lin_d = LinearRegression().fit(Zd_tr, yd_tr)print(np.round(w_d, 2))print(np.round(lin_d.coef_, 2))print(round(b_d, 2), round(lin_d.intercept_, 2), round(np.abs(w_d - lin_d.coef_).max(), 3))
rmse_gd = np.sqrt(mse(yd_te, predict(Zd_te, w_d, b_d)))rmse_lin = np.sqrt(mse(yd_te, lin_d.predict(Zd_te)))print("테스트 RMSE", round(rmse_gd, 2), round(rmse_lin, 2), "/ R²", round(lin_d.score(Zd_te, yd_te), 3))[ -1.72 -11.59 27.51 14.37 -31.22 15.26 1.17 8.18 35.84 2.12][ -1.72 -11.59 27.51 14.37 -31.22 15.27 1.17 8.18 35.84 2.12]151.61 151.61 0.002테스트 RMSE 58.52 58.52 / R² 0.332- 절편과 대부분의 계수는 같고, 몇 개만 소수점 아래가 조금 다르다.
s1·s2는 상관계수 0.9로 거의 함께 움직여서, 둘의 계수를 반대로 조금씩 바꿔도 손실이 거의 같다. 이런 방향은 경사하강법이 아주 천천히 수렴한다. 스텝을 늘리면 차이가 더 줄어든다. 테스트 RMSE는 사실상 같다. - (결정계수)는
score가 돌려주는 회귀 지표로, 1이면 완벽, 0이면 “평가 대상 정답의 평균으로 늘 예측”과 같은 수준이고, 그보다 못하면 음수가 된다. 지표는 5장에서 자세히 다룬다. - 표준화한 특성의 계수는 “그 특성이 표준편차 1만큼 커질 때 예측이 얼마나 변하나”다. 단위가 같아져서 크기를 비교할 수 있다. 다만
s1()·s2()처럼 강하게 함께 움직이는 특성은 계수가 크게 반대 부호로 나올 수 있으므로 하나씩 떼어 해석하지 않는다. 이 문제를 줄이는 정규화는 6장에서 다룬다.
수학 상자: 최소제곱
섹션 제목: “수학 상자: 최소제곱”MSE를 가장 작게 하는 ·를 구하는 문제를 최소제곱(least squares)이라 한다. 선형 회귀에서는 그래디언트가 0인 조건을 식으로 바로 풀 수 있다. 맨 앞에 1로 된 열을 붙여 절편을 가중치 하나로 합치면(, ):
이 식을 직접 역행렬로 풀면 수치가 불안정할 수 있어서, 실제로는 np.linalg.lstsq처럼 최소제곱 전용 함수를 쓴다. 이 예제처럼 보통의 배열(밀집 배열)을 기본 설정으로 넣으면 LinearRegression도 안에서 같은 계열의 함수(SciPy lstsq)를 쓴다. 대부분이 0인 희소 행렬을 넣으면 다른 방법(반복 풀이)을 쓴다.
X1 = np.column_stack([np.ones(len(Zd_tr)), Zd_tr]) # (N, 1 + d): 첫 열이 절편용 1theta, *_ = np.linalg.lstsq(X1, yd_tr, rcond=None)print(X1.shape, round(theta[0], 2), np.abs(theta[1:] - lin_d.coef_).max() < 1e-8)(353, 11) 151.61 True첫 값이 절편이고 나머지는 LinearRegression의 계수와 같다. 반복도 학습률도 없다. 같은 최소제곱 문제를 앞에서는 경사하강법으로 반복해서 풀었고, 여기서는 식으로 한 번에 풀었다. 그러면 경사하강법은 왜 배우나?
| 구분 | 직접 풀이(lstsq, 한 번에) |
경사하강법(반복 풀이) |
|---|---|---|
| 쓸 수 있는 모델 | 손실이 MSE인 선형 모델(과 일부 변형) | 미분할 수 있는 손실이면 무엇이든: 로지스틱 회귀(6장), 신경망(10장~), LLM |
| 정해야 할 값 | 학습률·스텝 수가 필요 없다 | 학습률, 스텝 수 |
| 데이터가 아주 클 때 | 전체 X를 한 번에 메모리에 올려 계산 |
일부 표본(미니배치)씩 나눠 갱신할 수 있다(11장) |
| 표준화 | 예측에 영향 없음(절편이 있고 해가 하나로 정해질 때) | 필요(수렴 속도·안정성) |
선형 회귀의 최소제곱 문제는 데이터가 메모리에 들어가면 직접 풀이로, 닫힌 해가 없는 모델이나 아주 큰 데이터는 경사하강법 계열로 푼다. 경사하강법을 표본 일부씩 돌리는 확률적 경사하강법(SGD)은 sklearn SGDRegressor에 있고, 11장 PyTorch 학습 루프의 기본이 된다.
4-9. 선형 회귀의 특징과 한계
섹션 제목: “4-9. 선형 회귀의 특징과 한계”선형 회귀는 단순한 만큼 잘하는 일과 못하는 일이 분명하다.
- 장점. 학습이 빠르고, 직접 풀이를 쓰면 학습률·스텝 수 같은 값을 고를 필요가 없다. 계수로 특성마다 예측에 주는 영향을 읽을 수 있다(4-4절). 그래서 표 데이터의 기준선으로 쓴다. 더 복잡한 모델은 이보다 나아야 쓸 이유가 있다.
- 한계. 아래 세 가지는 직접 확인해 둔다.
곡선 관계: 특성을 바꾸면 선형 회귀로도 맞는다
섹션 제목: “곡선 관계: 특성을 바꾸면 선형 회귀로도 맞는다”정답이 특성의 곡선 함수이면 직선 하나로는 맞지 않는다.
rng2 = np.random.default_rng(1)x_c = rng2.uniform(-3, 3, 100)y_c = x_c ** 2 + rng2.normal(0, 0.5, 100) # 곡선 관계X_line = x_c.reshape(-1, 1) # 특성: xX_sq = np.column_stack([x_c, x_c ** 2]) # 특성: x, x²sq = LinearRegression().fit(X_sq, y_c)print(round(LinearRegression().fit(X_line, y_c).score(X_line, y_c), 3), round(sq.score(X_sq, y_c), 3))print(sq.coef_.round(2), round(sq.intercept_, 2))0.0 0.964[0. 0.99] -0.01만 넣으면 가 거의 0이다(소수 셋째 자리까지 반올림해 표시한 값). 평균으로 늘 예측하는 것과 성능이 거의 같다. 잡음을 더하기 전의 관계 가 을 가운데 두고 양쪽으로 대칭이라 기울기 하나로는 나타내기 어렵다. 를 특성으로 더하자 0.964가 되고, 계수도 참값(에 1, 에 0)에 가깝게 나왔다. 예측식 는 에 대해서는 곡선이지만 매개변수 , , 에 대해서는 여전히 가중합이라 선형 회귀다. 선형 회귀의 “선형”은 매개변수(계수)에 대해 선형이라는 뜻이다. 모델에 넣는 특성은 원래 입력을 변환한 것이어도 되고, 그러면 원래 입력과의 곡선 관계도 나타낼 수 있다. 다만 어떤 특성을 더할지는 사람이 정해야 한다. 관계를 모르면 트리(7장)나 신경망(10장)처럼 모양을 데이터에서 찾는 모델을 쓴다.
이상치: 점 하나가 직선을 끌어당긴다
섹션 제목: “이상치: 점 하나가 직선을 끌어당긴다”X_out = np.vstack([X, [[9.5]]]) # 공부 9.5시간인데y_out = np.append(y, 10.0) # 점수 10점(잘못 입력한 값)lin_out = LinearRegression().fit(X_out, y_out)print(lin.coef_.round(2), round(lin.intercept_, 2))print(lin_out.coef_.round(2), round(lin_out.intercept_, 2))[3.99] 51.18[2.99] 54.09학생 30명에 “9.5시간 공부했는데 10점”인 잘못 입력된 점, 곧 다른 점들과 동떨어진 이상치(outlier) 하나를 더했더니 기울기가 3.99에서 2.99로, 절편이 51.18에서 54.09로 바뀌었다. MSE는 오차를 제곱하므로 멀리 떨어진 점 하나가 손실을 크게 키우고, 직선은 그 점 쪽으로 끌려간다. 학습 전에 그림과 기술 통계로 이상한 값을 먼저 찾는다(03장).
외삽: 데이터 범위 밖의 예측은 의심한다
섹션 제목: “외삽: 데이터 범위 밖의 예측은 의심한다”print(lin.predict(np.array([[5.0], [30.0]])).round(1)) # 데이터 범위 안(5시간)과 밖(30시간)[ 71.1 170.8]학습 데이터의 공부 시간은 0시간에서 10시간까지다. 5시간의 예측(71.1점)은 데이터 사이를 메운 값, 곧 내삽(interpolation)이다. 30시간의 예측(170.8점)은 직선을 데이터 범위 밖으로 늘린 값, 곧 외삽(extrapolation)이다. 만점이 100점이라면 나올 수 없는 값이고, 실제로는 공부 시간이 늘수록 점수가 덜 오를 수도 있다. 직선은 끝없이 늘어나고, 학습 데이터만으로는 범위 밖에서도 같은 관계가 유지되는지 확인할 수 없다. 그래서 외삽한 예측은 그 관계가 범위 밖에서도 유지된다는 근거가 있을 때만 쓰고, 예측값이 가능한 범위인지 함께 확인한다.
| 특징 | 결과 | 대응 |
|---|---|---|
| 원래 특성 만 넣으면 예측이 직선(평면) | 와 정답의 곡선 관계를 나타내기 어렵다 | 특성 변환( 등)을 더하거나 다른 모델(7·10장) |
| 손실이 오차의 제곱 | 이상치 하나에 크게 흔들린다 | 학습 전 데이터 점검(03장) |
| 직선은 끝없이 늘어남 | 데이터 범위 밖 예측(외삽)이 틀리기 쉽다 | 범위 밖에서도 관계가 유지된다는 근거를 확인하고, 예측값이 가능한 값인지 점검한다 |
| 특성끼리 강하게 함께 움직임 | 계수를 하나씩 떼어 해석하기 어렵다(4-8절) | 함께 해석하고, 정규화(6장) |
4-10. 선택 기준표에 추가
섹션 제목: “4-10. 선택 기준표에 추가”| 상황 | 고를 것 | 이유 | 장 |
|---|---|---|---|
| 숫자를 예측하는 표 데이터의 첫 모델 | 선형 회귀(LinearRegression)를 기준선으로 |
빠르고 학습률 같은 값을 고를 필요가 없으며, 계수로 영향을 읽을 수 있다. 이보다 나은지로 다음 모델을 판단한다 | 04 |
| 직접 만든 손실·모델을 학습시킨다 | 경사하강법. 그래디언트는 작은 데이터에서 수치 미분으로 검산 | 닫힌 해가 없어도 미분만 되면 쓸 수 있다 | 04 |
| 경사하강법으로 학습하는 모델에 표 데이터를 넣는다 | 훈련 데이터로 fit한 StandardScaler로 표준화 |
특성 단위가 다르면 공통 학습률로 안정성과 빠른 수렴을 함께 얻기 어렵다(너무 느리거나 발산) | 04 |
| 특성과 정답이 곡선 관계로 보인다 | 특성 변환( 등)을 더한 선형 회귀. 관계를 모르면 트리(7장)·신경망(10장) | 선형 회귀는 계수에 대해 선형이라, 특성을 변환하면 원래 입력과의 곡선 관계도 나타낼 수 있다 | 04 |
손실이 줄지 않거나 nan·inf가 된다 |
학습률을 10배씩 줄여 보고, 특성 스케일과 X·y shape를 확인 |
너무 큰 학습률은 발산, (N,)과 (N, 1)이 섞이면 오류 없이 틀린 손실 |
04 |
확인 문제
섹션 제목: “확인 문제”11문항. 풀면 결과가 기록되고 복습 일정에 들어간다.
4-11. 실습과 문제
섹션 제목: “4-11. 실습과 문제”실습/문제/ch04_학습이란_선형_회귀를_직접.ipynb를 .venv 커널로 열고 위에서부터 푼다. 내려받기가 없고 CPU로 1분 안에 끝난다. 다 푼 뒤 해설 노트북과 비교한다.
| 번호 | 유형 | 내용 |
|---|---|---|
| 1 | 개념 | 과제별 X·y shape와 회귀·분류 구분 |
| 2 | 코드 | predict와 mse 쓰기(shape 확인 포함) |
| 3 | 코드 | MSE 그래디언트 쓰기, 수치 미분으로 검산 |
| 4 | 개념 | 학습률·스텝·스케일 참/거짓 |
| 5 | 코드 | 경사하강법 함수 쓰기, LinearRegression과 비교 |
| 6 | 코드 | 학습률 실험: 발산 판정과 가장 좋은 학습률 고르기 |
| 7 | 코드 | 훈련 기준 표준화 후 학습, 계수를 원래 단위로 되돌리기 |
| 8 | 코드 | lstsq로 최소제곱 해 구하기 |
| 9 | 사례 | 손실이 nan이 된 학습 진단 |
| 10 | 사례 | 최소제곱과 경사하강법 중 고르기 |
4-12. 공식 문서와 참고 자료
섹션 제목: “4-12. 공식 문서와 참고 자료”- scikit-learn 선형 모델(최소제곱): https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares
LinearRegression: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.htmlStandardScaler: https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html- 확률적 경사하강법(SGD): https://scikit-learn.org/stable/modules/sgd.html
numpy.linalg.lstsq: https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.htmlnumpy.errstate: https://numpy.org/doc/stable/reference/generated/numpy.errstate.html- 회귀 지표(R²·MSE): https://scikit-learn.org/stable/modules/model_evaluation.html#regression-metrics
- 당뇨병 데이터
load_diabetes: https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_diabetes.html