수치 예측의 정석과 과적합을 막는 방패: 회귀(Regression)와 규제(Regularization) 정복하기

"이 환자는 질병입니다(1) / 아닙니다(0)"를 예측하는 것이 분류(Classification)라면, "이 환자의 혈당 수치는 126.5일 것입니다", "재원 기간은 14일일 것입니다"처럼 연속적인 숫자를 맞추는 것을 회귀(Regression)라고 합니다.

오늘은 가장 기본적인 선형 회귀부터, 모델의 폭주(과적합)를 막아주는 L1(Lasso), L2(Ridge) 규제까지 완벽하게 정리해 봅니다.

 

1. 선(Line)을 그어 미래를 예측하다: 선형 회귀 & 다항 회귀

① 선형 회귀 (Linear Regression)

• 개념: 데이터들의 패턴을 가장 잘 설명하는 직선 하나($y=wx+b$)를 긋는 것입니다.
• 의료 예시: "BMI가 높을수록 혈압도 비례해서 오르더라."
• 특징: 가장 단순하지만, 세상의 복잡한 일들을 직선 하나로 설명하기엔 한계가 있습니다.

② 다항 회귀 (Polynomial Regression)

• 개념: 직선 대신 곡선($x^2, x^3 \dots$)을 사용합니다.
• 의료 예시: "약물 투여량에 따른 효과는 처음에 급격히 오르다가, 일정 수준이 넘어가면 오히려 떨어지더라(U자 곡선)."
• 주의: 차수(Degree)를 너무 높이면, 데이터 하나하나에 집착하는 꼬불꼬불한 선이 되어버립니다. 이것이 바로 과적합(Overfitting)의 시작입니다.

 

2. 과적합(Overfitting) 해결사: 규제(Regularization)

모델이 학습 데이터에 너무 과하게 맞춰져서(Overfitting), 새로운 환자 데이터는 전혀 예측하지 못하는 상황을 막기 위해 '규제(Regularization)'라는 페널티를 줍니다.

쉽게 말해, "정답을 맞히되, 너무 복잡한 공식을 쓰면 감점하겠다!"라고 모델을 혼내는 것입니다.

① L1 규제 (Lasso) - "필요 없는 건 과감히 버려!"

• 원리: 가중치($w$)들의 절댓값 합($\sum|w|$)을 페널티로 줍니다.
• 특징: 중요하지 않은 변수의 가중치를 가차 없이 0으로 만들어 버립니다.
• 의료 활용 (Feature Selection): 유전자 데이터처럼 변수가 수만 개일 때, 질병과 관련 없는 유전자는 자동으로 제거(0으로 만듦)하고 핵심 유전자만 남길 때 아주 유용합니다.

② L2 규제 (Ridge) - "골고루 작게 만들어!"

• 원리: 가중치($w$)들의 제곱 합($\sum w^2$)을 페널티로 줍니다.
• 특징: 가중치를 0으로 만들지는 않지만, 0에 가깝게 아주 작게 만듭니다. 특정 변수가 혼자 튀는 것을 막습니다.
• 의료 활용 (Generalization): 특별히 변수를 제거할 필요가 없을 때, 모델을 전체적으로 안정적(Stable)으로 만들 때 가장 일반적으로 쓰입니다.
  
  

요약:

• Lasso (L1): 변수 선택 효과 (가중치 $\rightarrow$ 0)
• Ridge (L2): 과적합 방지 및 안정화 (가중치 $\rightarrow$ 작게)

3. 트리 기반의 회귀 모델들

분류 문제에서 썼던 강력한 친구들은 회귀 문제에서도 여전히 강력합니다.

• Random Forest Regression: 여러 개의 나무가 예측한 값의 평균을 냅니다. (안정성 甲)
• XGBoost / Gradient Boosting Regression: 이전 나무가 틀린 오차(잔차)를 다음 나무가 수정해 나갑니다. (성능 甲)

 

4.  Analyst's Note: 분류 모델인 척하는 로지스틱 회귀

이름이 'Logistic Regression(로지스틱 회귀)'이라서 회귀 모델로 착각하기 쉽지만, 사실은 분류(Classification) 모델입니다.

• 이유: 회귀 식($wx+b$)을 사용하긴 하지만, 결과를 시그모이드(S-Curve) 함수에 통과시켜 0과 1 사이의 확률로 바꿔버리기 때문입니다.
• 결론: "환자의 생존율(%)"을 구해서 생존(1)/사망(0)을 나누는 분류기로 사용됩니다. 면접이나 시험에 자주 나오는 함정이니 꼭 기억하세요!