📌 Portfolio Case Study (삭제 예정)

1. 한 줄 요약

시각장애인의 오프라인 쇼핑 상황에서 상품을 능동적으로 인식하고 안내하기 위한 Android 온디바이스 Vision AI 앱입니다.

2. 문제 정의

기존 보조 앱은 텍스트 인식이나 단순 음성 안내에 머무르는 경우가 많아, 사용자가 매장 안에서 원하는 상품을 직접 찾고 확인하는 데 한계가 있습니다. GrabIT은 카메라 기반 객체 탐지와 사용자 안내 UX를 결합해, 제한된 모바일 환경에서도 실시간으로 상품 인식 결과를 전달하는 것을 목표로 했습니다.

3. 내 역할

• YOLOX-Nano 기반 객체 탐지 모델 학습 및 COCO 포맷 데이터셋 구성
• TFLite/LiteRT 변환 및 FP16 경량화를 통한 Android 온디바이스 추론 최적화
• OpenCV 전처리, CameraX 입력, 추론 결과 안내 흐름 연결
• 팀원 이탈로 생긴 모델 변환·모바일 탑재 공백을 직접 학습해 보완

4. 핵심 구현 내용

• 모델 경량화: YOLOX-Nano를 모바일 환경에 맞게 TFLite/LiteRT로 변환하고 FP16 경량화 적용
• 온디바이스 추론: 네트워크 의존도를 줄이고 스마트폰 내부에서 객체 탐지 수행
• 실시간 영상 처리: CameraX 입력과 OpenCV 전처리를 연결해 카메라 프레임 기반 추론 흐름 구성
• 사용자 안내 UX: 시각장애인 사용자의 실제 쇼핑 상황을 고려해 탐지 결과를 안내 흐름으로 연결

5. System Architecture

사용자 카메라 입력
        ↓
Android CameraX 프레임 수집
        ↓
OpenCV 기반 이미지 전처리
        ↓
YOLOX-Nano 모델 추론
        ↓
TFLite / LiteRT 온디바이스 실행
        ↓
탐지 결과 후처리
        ↓
상품 위치·상태 안내
        ↓
화면 / 음성 기반 사용자 피드백

6. Experiment / Evaluation

• 모델: YOLOX-Nano
• 변환: TFLite/LiteRT