⭐ Neural Network(NN)은 Linear Regression, Logistic Regression의 확장이다.

• 로지스틱 회귀 = 선형 분류기이다. 그렇다면 비선형 분류기(경계)는 어떻게 얻을 수 있을까?

  ⇒ 동시에 여러개의 로지스틱 회귀를 적용시키면 된다.

Rewind : Logistic Regression

• 위의 2개의 단계가 로지스틱 회귀의 방법인데 이를 그림(퍼셉트론)으로 표현할 수 있다.

🎯 예시

• 타원 중에 우측 부분에 있는 부분을 Activation Fuction이라고 한다.

Perceptron

• 좌측 하단의 그림을 퍼셉트론(사실상 시그마랑 f가 있는 원을 의미)이라고 하고, 퍼셉트론은 2가지 부분으로 나뉜다.
  1. ∑ : input과 connection weight(w1, w2, .., wd, w0)의 선형결합의 결과
  2. f : Activation Function으로, Sigmoid / Hard Limit / ReLU / Linear 중에 1가지 함수가 들어간다.
     • Activation Function에 따라서 결과로 나오는 y값이 달라지기에 매우 중요하다.

⭐ Bias

• Inputs : x1, x2, …, xd, 1을 의미함
• Bias input : 1을 의미함 (선형결합에서 x0와 같은 느낌)
• Bias : w0를 의미함 (bias ⇒ 1에 대한 connection weight)

📌 Bias와 Bias input은 문제에서 안 나와 있어도 존재하는 것으로 간주함

🎯 예시 (AND, OR, NOT, XOR)

⚠️ w의 값에 따라서 Hard Limit함수가 도출하는 output이 AND, OR, NOT연산의 결과가 된다.

📌 AND