- TensorFlow.js with React-Native
- Machine Learning Pose Analysis Application
- written by HyeonMin Shin
1. 목적 - Purpose
- React-Native로 생성된 Application에서 json 형식으로 formatting된 TensorFlow Machine Learing모델 build
2. 한계 - Limitations
- 사용자로부터 받아온 데이터를 TensorFlow ML 모델이 수용가능한 데이터 형식으로 전환이 필요.
- 이어, TensorFlow ML Model을 통해 예측된 값을 React-Native에서 지원하는 데이터 형식으로 추가 전환이 필요.
- 사용자로부터 받은 데이터의 크기가 큰 경우, 모델 학습 및 예측 데이터 추출을 위한 많은 cost가 발생함.
- 위와같은 이유로, 모델을 통한 예측값 생성 시간 및 가용범위는 사용자 기기 spec에 따라 차이가 발생함.
3. 사용자 관점 - User perspective
- 운동, 또는 특정 동작을 연습할 경우, 사용자가 지향하는 동작과 실제 수행한 동작간의 차이를 직관적으로 확인할 수 있음.
- 실제 측정된 객체의 움직임을 다양한 특성을 통해 분석 가능함 ex) 특정 관절의 위치, 분절된 신체 객체별 상대각도, 비율 등을 실시간으로 확인 가능.
- 신체뿐만 아닌 특정 객체에 대한 묘사 혹은 분석이 필요한 경우, 해당 객체의 움직임을 분석하고 분류하는 하나의 척도를 제시할 수 있음.
- 기존 분석 모델과 다르게 간단하게 사진을 업로드하거나, 촬영을 해서 객체의 움직임을 분석할 수 있음.
- 즉, 기존 분석을 위해, 알아야했던 객체별 특성과 모델 특성을 굳이 유저가 전부 파악할 필요없이, 원하는 분석 모델을 선택하고 그에 맞는 분석 대상 데이터만 준비하면 됨.
4. 개발자 관점 - Developer perspective
- 분석 및 예측하고자 하는 객체의 다양한 특성을 분석된 모델을 통해 실제 데이터로 추출할 수 있음.