“Human Activity Recognition via Temporal Fusion Contrastive Learning (TFCL)”

• 저자 : P. Zhang / Z. Gao / S. Zhang / T. Yan / T. Wu

• 학회 : IEEE

• 발행일 : 2023년 7월 26일

• 주요 주제 : 센서 기반 행동 인식(HAR)을 위한 자기지도학습(SSL) 및 생체 정보 융합 기술

• Datasets :

  DLR Dataset: 스마트폰 센서 데이터가 포함된 행동 인식 데이터셋. MobiAct Dataset: 다양한 연령대의 동작과 추락(Fall) 데이터를 포함한 데이터셋.

1. 기존의 문제는 무엇인가 (논문 탄생 이유)

• 라벨링의 어려움 : DNN 학습을 위해서는 대량의 라벨링된 데이터가 필요함. but, 센서 기반 데이터는 전문가가 직접 패턴을 찾아야 하므로 비용과 시간이 많이 소요됨.
• 개인 맞춤화 부족 : 기존의 SSL 모델은 주로 사용자의 움직임 정보만을 활용하고 생체 정보는 배제함. 이로 인해 일반적인 동작은 인식할 수 있으나, 연령이나 성별 등에 따른 개인별 맞춤형 동작 패턴은 효과적으로 학습하지 못 하는 한계가 있음.

2. 이 문제를 어떻게 해결할 것인가 (아이디어의 Novelty, 차별점)

“ 센서 데이터와 생체 데이터를 시간적 융합(Temporal Fusion) 기술로 결합하여, 개인 맞춤형 동작 인식이 가능한 자기지도학습 모델 구축 “

• TFCL (Temporal Fusion Contrastive Learning)
  • 센서 데이터 + 생체 정보(나이, 성별, 키 등)
• Static Encoder
  • 생체 정보를 처리하기 위한 별도의 인코더 구성하고,
  • GRN 블록으로 중요정보를 추출하여 시간적 특징과 융합
• 두 가지 손실함수 사용으로 특징을 더 정교하게 학습
  • Predictive Contrastive Loss(미래의 잠재 표현 예측)
  • NT-Xent Loss(샘플 간 유사도 비교)

So, 과거 모델은 단순히 “어떤 동작인가”에만 집중했다면, TFCL은 “누가 이 동작을 하고 있는가”에 대한 맥락을 생체 정보를 통해 모델에 주입했다는 점이 가장 큰 차별점.

3. 어떻게 증명하였는가 (정확도 등 평가지표 해석)