0. 들어가기 전에..

• 범주형변수
  • 카테고리나 레이블을 나타내기 위해서 사용됨
    • ex) 세계의 주요 도시, 사계절, 기업이 사업분야 등
  • 범주 값의 개수는 실제 데이터셋에서 항상 유한함.
  • 범주형 변수의 값은 서로 비교되거나 정렬될 수 없다.
• 범주형 변수를 확인하는 방법
  • "몇 배나 차이나는가?"
    • 대답이 가능하다 = 숫자로써의 의미가 존재한다.
      • EX) 주가 500원은 주가 100원보다 5배 차이난다
    • 대답이 불가능하다 = 숫자로써의 의미가 존재하지 않는다.
• 큰 범주형 변수는 Transaction에서 일반적
  • EX) User_ID는 고유값이나, ID로써 의미는 크게 없다
  • EX) IP 주소 : 숫자로 되어있으나, 숫자의 의미가 없다.
  • EX) Corpus의 어휘

    • 각 고유 단어가 하나의 범주인 커더란 범주형 변수로 해석될 수 있다.

    • 하나의 범주가 한 데이터 포인트에 여러번 나타날 경우, 카운트로 표현 가능

    • 즉, 하나의 단어가 하나의 문장에 여러번 등장할 경우, 카운트로 표현할 수 있다.

    • 또한, 단어 카운트 통계를 활용해 모든 범주를 표현할 수 있다.

      ⇒ Bin Counting

1. 소규모 범주형 변수 처리

1.1 필요성

• 인코딩 : 범주를 숫자로 나타내는 것

1.2 원-핫 인코딩

• bit의 그룹을 사용
• 자신이 해당되는 그룹만 1, 나머지는 0을 배당
  • $e_1 + e_2 + ... +e_k = 1$ 로 표현 가능
• 사용법
  • sklearn.preprocessing.OneHotEncoder
• 문제점
  • 원-핫 인코딩은 선형 종속성을 가짐
    • 서로 다른 피쳐간의 선형 조합이 동일한 예측을 산출할 수 있기 때문에, 조심해야 함
  • 원-핫 인코딩은 k개의 그룹에 대해서 k개의 변수를 만들어낸다.
• 장점
  • 동일한 문제에 대해 여러개의 유효한 모델을 허용함
  • 각 피처가 명확하게 나의 범주에 상응한다.
  • 누락 데이터는 모두가 0인 벡터로 인코딩 될 수 있다

1.3 더미 코딩

• k개의 범주가 있다면, k-1개를 가지고 설명
  • A,B,C 그룹에 대해서
    • A : 0,0,1 ⇒ 0,1
    • B : 0,1,0 ⇒ 1,0
    • C : 1,0,0 ⇒ 0,0
• 사용법
  • pandas.get_dummies()
• 장점
  • 선형 회귀 모델에서, C는 y절편 (편향계수) 으로 표현 가능 (X1, X2가 0이다)
  • y절편은 C의 평균 값이 들어감
  • 각 계수는 C 범주와의 평균이 얼마나 차이나는지를 의미
    • if) $y = 500A -1000B+3500$
      • A 범주는 C보다 +500의 평균을 가지고 있다.
      • B 범주는 C보다 -1000의 평균을 가지고 있다.
  • 불필요한 요소가 없다.
• 단점
  • 누락 데이터를 처리하기 힘들다.
  • 각 범주의 효과를 기준 범주에 대해 상대적으로 인코딩하기에, 결과 해석에 어려움이 있다.

1.4 이펙트 코딩