◾군집화란?

• 데이터 포인트들을 특성(피처)에 따라 비슷한 유형끼리 묶는 것을 의미한다.

◾K-mean Clustering

🔻개념 및 특징

🔸K-평균 군집화

• 군집 중심점(centroid)이라는 특정한 임의의 지점을 선택하여 해당 centroid 에 가까운 데이터 포인트들로 군집화하는 기법.

🔸군집화 과정

1. K개의 임의의 군집 중심점을 초기화한다. (C1,C2,C3, …, Ck) → 전체 데이터를 K개의 군집으로 묶겠다는 의미

   1. 이 때, 임의의 위치에 centroid를 배치하면 수행 시간이 오래 걸리므로, 일반적으로 초기화 알고리즘을 사용하여 초기화한다.

2. 데이터 포인트들은 자신과 가장 가까운 위치의 centroid 군집에 소속된다.

   e.g.)

   

3. centroid를 갱신한다.

   1. centroid는 각 군집 내 데이터 포인트들의 평균 중심으로 이동한다.

      • $\underset{c}{min}\sum(datapoint와~centroid~거리)$ : 데이터 포인트들과 centroid 거리의 총합이 최소화되도록 centroid가 움직인다.

      

4. 군집을 갱신한다.

   1. 갱신된 centroid를 기준으로 다시 데이터 포인트들이 가장 가까운 centroid의 군집으로 소속된다.

      

5. centroid 갱신(3번)과 데이터 포인트의 소속 군집 갱신(4번)을 반복한다.

6. 더 이상 centroid 갱신이 이루어지지 않는다면 군집화를 완료한다.

🔸특징

• 장점
  • 일반적이며 쉽고 간결한 알고리즘.
• 단점
  • 거리 기반이기 때문에 속성(피처)의 개수가 많을수록 군집화 정확도가 떨어지고 수행 시간이 오래 걸린다.
    • PCA와 같은 차원 축소 기법으로 보완 가능
  • 군집의 개수(하이퍼 파라미터) 선택이 성능에 큰 영향을 미친다.
    • elbow method를 주로 사용

🔻군집 평가 Cluster Evaluation

🔸실루엣 분석 silhouette analysis

🔸Elbow Method

🔸ARI : Adjusted Rand Index

🔸HS : Homogeneity Score

🔸CHI : Calinski-Harabasz Index

• 정리 (ref paper : “Text Clustering with LLM embeddings”)
  • F1-score, ARI, HS 는 External Metrics로 데이터 라벨과 클러스터 간의 일치도에 중점을 둔다. 데이터의 고차원적 특성을 효과적으로 포착할 수 있다.
  • Silhouette score, CHI는 Internal Metrics로 클러스터의 기하학적 형태, 공간적 분리에 중점을 둔다. 저차원 공간에서 클러스터 간 공간적 관계를 효과적으로 포착한다.