<aside>

“라벨이 없는 데이터로부터 Contrastive SSL을 통해 데이터의 본질적 의미를 파악하는 표현학습을 선행하고, 이후 소량의 라벨 데이터로 Fine-tuning함으로써 모델의 성능을 극대화한다.”

• Representation learning : 달성하고자 하는 최종 목표 (데이터의 핵심 특징을 뽑아내는 것)
• SSL & Contrastive SSL : 표현학습을 달성하기 위한 방법론 (라벨 없이 대조학습을 사용해 스스로 예습)
• Fine-tuning : 예습한 능력을 바탕으로 실전 문제를 푸는 단계. </aside>

< 개념 알기 >

1. 표현 학습 (Representation Learning)

표현 학습(Representation Learning)이란?

인공지능 모델이 데이터(이미지, 텍스트, 음성 등)를 분석할 때, 단순한 숫자의 행렬인 Raw Data로부터 특징을 스스로 찾아내어 데이터의 핵심 정보를 담은 의미 있는 숫자 벡터(Feature Vector)로 변환하는 과정.

• 데이터의 형태 :

  전처리가 끝난 단순한 숫자 행렬 → (특징 학습) → 데이터의 핵심 정보만을 남겨 압축한 특징 벡터

• 표현(Representation) :

  데이터를 인공지능 모델이 이해할 수 있는 핵심 특징들로 수치화 한 것

<aside> 🔎

과거 머신러닝의 방식 vs 현대 딥러닝의 표현 학습 :

• 과거 : 사람이 "고양이는 귀가 뾰족하다”와 같은 특징을 직접 정의 (Feature Engineering)
• 표현 학습 : 딥러닝 모델이 데이터를 대량으로 보면서 "어떤 특징이 중요한지" 직접 학습 </aside>

표현 학습의 목표는?

표현 학습의 목표는 결국 “좋은 표현”을 얻는 것이다.

“좋은 표현”이란, 1) 추상화 : 복잡한 데이터에서 불필요한 노이즈는 버리고 핵심만 남긴 것

                 2) **분별력** : 서로 다른 데이터(걷기, 뛰기)를 벡터 공간에서 명확하게 구분할 수 있는 것

이 두가지를 충족하는 표현이다.

즉, 표현 학습의 목표는

분류나 회귀 등 다양한 문제를 해결하기 쉽게 **‘Raw Data로부터 핵심 특징이 담긴 벡터를 얻는 것’**이다.

그럼 표현학습은 딥러닝의 어느 단계에 사용되는가?

1. 데이터 전처리 (Pre-processing) :
   • 사람이 개입하여 데이터를 기계가 읽을 수 있는 형식으로 다듬는 과정
   • Ex. 결측치 채우기, 노이즈 제거, 정규화(Normalization), 토큰화 등
2. 특징 추출 및 변환 (Feature Extraction / Representation Learning) :
   • 이 단계가 표현 학습의 핵심 영역
   • 인코더가 전처리된 데이터를 입력 받아, 그 데이터의 특징(패턴)을 압축된 벡터 형태로 추출해냄.
3. 테스크 수행 (Downstream Task) :
   • 표현 학습으로 추출된 특징 벡터를 근거로 최종 판단을 내림.
   • Ex. “이 특징을 보니 이 데이터는 ‘걷기’ 행동이다”, “이 특징은 ‘강아지’ 사진이다”