https://github.com/ppyong11/cocomong
[모델 개발]
[앱 개발]
딥러닝 기반 식재료 카테고리 분류 모델 구축
이미지 분류 모델은 앱에 식재료를 추가할 때 사진 촬영 및 갤러리 선택을 통해 등록한 사진의 카테고리를 분류합니다.
식재료 데이터 수집은 Kaggle의 공개 데이터세트와 Pixabay API를 통해 저장하였고, 데이터가 부족하거나 특정 재료의 분류 정확도가 낮을 경우 일일이 찾아 저장했습니다. 이후 이미지 사이즈를 획일화시키고 전처리 및 데이터 증강 과정을 통해 데이터 세트를 늘려줬습니다.
모델 테스트를 진행하며 성능을 개선해 나갔고, 적절한 성능으로 개발된 모델은 Tensorflow Lite를 활용해 경량화된 모델로 변환하여 Android Studio에 적용했습니다.
선택 또는 촬영된 이미지는 이미지 모델에 입력할 수 있는 형태로 전처리 후에 입력되고, 도출된 분류 결과는 최종적으로 식재료를 등록할 수 있는 view에 반환됩니다.
푸시 알림 기능 (유통기한 관리 로컬 알림 구현)
각 냉장고에 등록한 식재료 데이터의 상태에 따라 3가지 알림을 제공하는 기능을 구현했습니다.
초기에는 FCM(Firebase Cloud Messaging)으로 알림을 구현하려 했으나, 어플리케이션 내에서 사용하려면 사용자 토큰 관리 및 FCM과 백엔드 간 연동 로직이 필요했습니다.
서버측 토큰 관리와 연동 로직을 구현하기에는 프로젝트 일정이 촉박해, Android OS의 네이티브 기능을 활용한 로컬 알림 방식을 활용했습니다. 정해진 스케쥴에 맞춰 당월 식재료 정보를 필터링하여 사용자에게 알림을 제공하며, 클릭 시 특정 냉장고로 연결되도록 하여 사용자 편의성을 높였습니다.
[모델 과적합(Overfitting) 해결 및 성능 최적화]