1. 정규화 회귀란? (Regularized Regression)

• *기본 선형회귀(Linear Regression)**는 오차 최소화만 생각함 →

  → 특성이 너무 많거나, 다중공선성(변수들끼리 비슷)이 심하면 과적합이 잘 됨

• 정규화(Regularization):

  • 모델이 특정 가중치에 너무 의존(=과적합)하지 못하게
  • 가중치(w) 크기에 패널티를 주는 방법!

2. Ridge, Lasso, ElasticNet의 특징

1) Ridge Regression (릿지 회귀, L2 정규화)

• 특징:

  • 손실함수에 L2 패널티(가중치 제곱합)를 더함
  • 모든 변수의 가중치를 작게 만듦(0에 가깝게)
  • 변수들 간의 다중공선성 문제 완화

• 수식:

  $$ \text{Loss} = \sum (y - \hat{y})^2 + \alpha \sum |w|

  $$

• 결과:

  • 가중치(w) 값이 작아짐, 그러나 완전히 0은 잘 안됨
  • 모든 변수를 조금씩 사용하는 경향

• 언제 사용?

  • 특성이 많고, 변수 선택이 크게 중요하지 않을 때
  • 다중공선성 문제가 있을 때

2) Lasso Regression (라쏘 회귀, L1 정규화)

• 특징:
  • 손실함수에 **L1 패널티(가중치 절댓값 합)**를 더함
  • 불필요한 변수의 가중치를 정확히 0으로 만듦
  • → 자동 변수 선택(Feature Selection) 효과!
• 수식:

$$ \text{Loss} = \sum (y - \hat{y})^2 + \alpha \sum w^2

$$

• 결과:
  • 불필요한 변수(w)가 완전히 0이 됨 (특성 선택 효과)
• 언제 사용?
  • 변수가 많고, 진짜 중요한 변수만 뽑고 싶을 때
  • 과적합 위험이 높고, 일부 변수만 의미 있을 때

3) ElasticNet (엘라스틱넷, L1 + L2 혼합)