Logistic Regression

Linear Regression에서 Error를 최소화하는 w까지 찾을 수 있었다.

→ 모델을 가장 잘 설명하는 f(x)를 찾음

그렇다면 남은것은 unknown 데이터가 주어졌을 때 f(x)를 통해 값을 올바르게 예측할 수 있어야 한다.

Linear Classifier

회귀는 값을 예측하는 것이었다면 분류는 해당 데이터의 클래스를 예측하여 지정하는 것이다.

선형 회귀의 과정과 비슷하지만 차이가 존재한다.

2가지 과정을 통해 구현된다.

1. Red와 Blue(클래스, 레이블)사이의 경계선을 발견한다.
2. 주어진 경계선을 기준으로 클래스를 판단할 수 있는 기준(classifier design)을 설정한다.
   • 경계선보다 위면 → L(x1, x2) = Red
   • 경계선에 있으면 → L(x1, x2) = Unknown
   • 경계선보다 아래에 있으면 → L(x1, x2) = Blue

→ 하지만 이렇게 경계선보다 위, 아래에 있다. 경계선에 있다. 이런말들은 계산을 하기가 힘들다.

→ 계산을 할 수 있도록 수학적 표현으로 바꿔보자 !

⚡ 잘 생각해보면 경계선에 있다는 말은 1개의 데이터의 점을 (a,b)라고 했을때 f(a, b) = 0가 될 것이다.

즉, 경계선보다 위라는 것은 f(a, b) > 0 / 아래라는 것은 f(a, b) < 0이 된다.

따라서 다음과 같이 classifier design을 변경할 수 있을 것이다.

→ classifier design

• if f(x1, x2) > 0 → Red
• if f(x1, x2) = 0 → Unknown
• if f(x1, x2) < 0 → Blue

→ 이 방법도 좋지만 결과가 Real number가 아닌 label로 표현되어있다. (수학적이지 않음)

따라서 한 번 더 수정해보면,

• if f(x1, x2) > 0 → L(x1, x2) = 1
• if f(x1, x2) = 0 → L(x1, x2) = 0.5
• if f(x1, x2) < 0 → L(x1, x2) = 0

→ 하지만, 결과값이 연속적이지 않다. (미분을 할 수 없음)

따라서 최종적으로 수정해보면,

$$ L(x1, x2) = \frac{1}{1+e^{-f(x1,x2)}} $$

• 이 함수는 Logistic Regression에서 사용되는 연속, 미분가능한 함수이다.
  • 주어진 경계선을 바탕으로 Classifier를 만들어낸 것이다.
  • L(x1, x2) 는 0 ~ 1 사이의 연속적인 값을 갖는다.

Classifier Design : Approximation of L

위에서 정의한 L(x1, x2)함수를 이용하여 데이터를 classfy해보자!

• (4, 10)의 경우에는 t : target value(목표하는 값)이 1(Red)이다.

  • 점을 f(x1, x2)에 대입하니까 8이 나온다. (+의 값은 위쪽, -의 값은 아래쪽)
    • 경계선에서 떨어진 거리의 정도를 의미한다.
  • 이를 이용해 L(x1, x2)를 구했더니 0.9997이라는 값이 나온다.
    • 이는 Red일 확률(Probability of Red)를 의미한다.

  ⚡0.9997이라는 Red에 대한 확률이 close to target value 인지 확인한다.

  ❗Approximation(근사)을 이용

  : 예측된 확률 값이 타겟 값 t(0 or 1)에 얼마나 가까운지 확인하는 과정

  • 0.9997은 0보다 1에 더 가깝기 때문에 class를 1(Red)로 분류!