프로젝트 정의

• Multi-frame 정보를 활용하여 더 빠르고 정확하게 사람을 인식할 수 있는 방법을 연구합니다. (2D/3D pose, body mesh, face mesh, hand 등 무관)

프로젝트 목표

• 딥러닝은 person segmentation, pose estimation, face/body mesh reconstruction 등의 문제에서 성공적인 성과를 보여주었고, 실제 제품에도 적용되고 있습니다. 하지만 대부분의 기존 방법들은 단일 영상을 처리하도록 설계되었습니다. 이 때문에 (프레임마다 처리 결과가 조금씩 어긋나는) jittering 문제가 발생하기도 하고, 순간적인 occlusion이나 blur에 민감해지게 됩니다. 후처리를 통해 temporal 정보를 활용하는 경우도 있지만, 많은 경우 단순한 filtering, averaging 수준을 벗어나지 못하고 있습니다.
• 이 프로젝트에서는 video input을 상정한 end-to-end neural network를 통해서 기존의 방법론들을 개선하는 연구를 진행하고자 합니다. Video input을 활용하면 매 프레임마다 반복되는 계산을 줄여 처리속도를 향상시키거나, multi-frame 정보를 활용하여 정확도를 높일 수 있을 것이라 기대하고 있습니다.

추가 사항

• Multi-frame 정보를 활용하지 않더라도, 지원자가 facial expression, action, 3D pose, face/body mesh 등 human perception과 관련 분야에서 해결하고자 하는 다른 문제가 있다면 제시해주셔도 좋습니다.

지원자격 및 우대사항

지원자격

• Tensorflow / Pytorch 중 하나 이상에 익숙하신 분
• 아래 키워드와 관련이 있는 논문 실적 또는 프로젝트 경력이 있는 사람
  • pose estimation, face / human mesh
  • facial attribute / expression recognition
  • gesture/action recognition, action localization
  • video classification / summarization
  • efficient neural network, mobile/real-time deep learning
  • domain adaptation, knowledge distillation

우대사항

• 유관 경험 (인턴)
• 주요 학회 논문이나 외부 챌린지 참여 실적
• 뛰어난 소프트웨어 엔지니어링 역량 (Python, C++ 등)
• 실제 제품에 적용된 DL 모델의 연구/프로젝트 경험

지원하기