01 멘토 소개

노경완

김현태

02 프로젝트 소개

① 기존 로봇 제품에 탑재된 Vision AI 소프트웨어 기능 개선 및 신규 기능 개발

▶ 신규/개선 필요 기능 (예시적 나열)

  1. 카메라 시야 내 군중에 대한 마스크 착용 여부 검사 (부분적으로 몸이 겹쳐진 사람들 고려)
  2. 카메라 시야 내 군중의 인원수/인접도 계산 (부분적으로 몸이 겹쳐진 사람들 고려)
  3. 카메라를 향해 손 흔드는 사람을 marking하고 응답 하기(음성 인사)
  4. 로봇 전면에서 "안녕", "Hello" 등의 음성이 인식되면 바로 응답 하기 (음성 인사)
  5. 카메라 전면 6m 이내, 가장 앞에 있는 사람 영상에 가상의 의상/장식 등 부착 혹은 얼굴만 분리하여 AR 스티커 등 효과 설정 (대상자의 움직임에 연동하여 동작)
  6. Depth Camera로 인물에 대해 3D modeling하고, 결과물을 3D avatar로 보여주기 (※ 단, source video는 카메라가 탑재된 PC(로봇)에서 capture하고, 3D model은 분리된 server에서 processing하도록 구성)
  7. 로봇 전면 Touch screen을 누른 사람의 얼굴을 3D로 모델링
    1. 결과물을 email로 당사자에게 전송
    2. 결과물에 대한 3D Printing 서비스 연계 제공
  8. 로봇의 카메라 앞으로 사람이 접근하면, 로봇 전면 모니터를 통해 3D Avatar로 인사하기
  9. 손가락이 가리키는 위치와 동작을 인식하여 로봇 전면 모니터에 손대지 않고 멀리서도 터치와 같이 조작할 수 있는 가상 터치 기능 제공 (예시: Gestoos SDK)
  10. 로봇 전면 카메라 앞으로 사람이 접근하면 해당 인물의 동작에 반응한 영상 효과 표시 (예시: 로봇 본체에 부착된 Addressable LED들을 폭포수 혹은 파도 같이 점등)

② 개발용 시스템 구성 (예시)

  1. Touch형 모니터 (24" 이상 / VESA Mount / HDMI Input / USB Input)
  2. 이동식 TV 스탠드 (PC 등 추가 장비 거치 가능한 유형)
  3. Depth Sensing Camera (Intel L515, Intel D435, Azure Kinect DK, Tvico)
  4. Microphone & Speaker
  5. Addressable LED strip (1m x 7개) → Optional
  6. 개발용 PC (최종 적용 모델은 Non-GPU PC 필요)
    1. Azure Kinect DK를 위한 NVIDIA GPU 내장 PC → 저전력 소형 PC로 구매 필요
    2. Intel NUC-PC 또는 Advantech PC (Intel Core I3, 16GB RAM 이상) → 1대 대여 가능

③ 추천 SDK (예시)

  1. 3DiVi사의 NuiTrack AI + Tvico Camera
  2. RecFusion SDK (https://www.recfusion.net/)
  3. Gestoos Digital Signage Solution (https://gestoos.com/)

④ 개발 O/S 및 언어 : Windows 10 ; C# or Python 추천

03 이런 fellow를 찾습니다