On-Care | HealthMate AI

📌 프로젝트 소개

프로젝트명	HealthMate AI: 불규칙한 생활 속 2030을 위한 고혈압·당뇨 위험군 대상 식단 인식·코칭 통합 헬스케어 플랫폼
서비스명 (브랜드)	온케어 (On-Care)
트랙	산학
팀명	Sudo
팀 구성	최지수, 박서연, 신수빈
지도 교수	황의원 교수님 · 이화여자대학교 컴퓨터공학전공

🔍 Overview

2030세대 만성질환(고혈압·당뇨·이상지질혈증) 유병률이 구조적으로 급증하는 가운데, 기존 헬스케어 앱은 식단·운동·일정의 파편화와 획일적 정보 제공이라는 한계를 벗어나지 못하고 있습니다.

On-Care는 이 문제를 세 가지 방식으로 해결합니다.

① Vision AI 2단계 파이프라인

YOLOv8 + Gemini Vision API로 식단 자동 인식의 정확도와 비용 효율을 동시에 확보

② RAG 기반 개인화 AI 코치

사용자 건강 이력을 Vector DB에 저장 후 GPT-4o에 주입 — '내 데이터를 아는 AI 코치' 구현

③ 단일 플랫폼 통합

식단·운동·상담·헬스장·일정을 하나의 앱에서 관리해 데이터 연속성 확보

✨ 핵심 기능

Vision AI

🍱 식단 자동 인식 및 영양 분석

음식 사진 1장으로 YOLOv8 필터링 → Gemini Vision 영양 분석 → 공공데이터 DB 매핑까지 자동 처리. 칼로리·탄수화물·단백질·지방·나트륨 즉시 기록.

RAG · GPT-4o

🤖 RAG 기반 AI 헬스 챗봇

인바디·식단 로그·운동 이력·질환 정보를 Pinecone Vector DB에 저장 후 GPT-4o에 컨텍스트로 주입. "이번 주 내 식단 기준" 맞춤 조언 제공.

LLM + 규칙 기반

🏃 AI 맞춤 운동 코칭

체력·목적·건강 상태 기반 운동 루틴 생성. 피드백(강도·피로도·통증) 반영 동적 재조정으로 지속 가능한 루틴 유지.

카카오맵 API

🏋️ 헬스장 검색 & 트레이너 연동

위치 기반 헬스장 검색·예약·트레이너 인앱 채팅. AI가 이용자 건강 데이터를 자동 요약해 트레이너에게 전달, 맞춤 지도 효율 향상.

FCM

📅 통합 건강 일정 관리

식단·운동·병원 예약·건강검진 일정을 하나의 캘린더에서 통합 관리. 실시간 푸시 알림으로 실천 유도.

게이미피케이션

🏆 포인트 & Streak 보상

활동 포인트·연속 기록 Streak 보상으로 내재적 동기 강화. 적립 포인트는 프리미엄 기능과 교환 가능.

🏗️ 시스템 아키텍처

Flutter Mobile App (iOS / Android)

카메라 · 식단 RAG 챗봇 운동 코칭 헬스장 · 예약 포인트 캘린더

↕ HTTPS REST API

FastAPI Backend (Docker / AWS EC2)

JWT 인증 식단 API 운동 API RAG Pipeline 포인트 관리 GitHub Actions CI/CD

↕

데이터

MySQL (AWS RDS) Pinecone Vector DB

Vision AI Pipeline

YOLOv8 필터링 Gemini Vision API

RAG Pipeline

LangChain GPT-4o

↕

External APIs

카카오맵 API 공공데이터 식품영양성분 DB Google Gemini AI OpenAI GPT-4o Firebase FCM

🍽️ Vision AI 식단 인식 파이프라인

사진 한 장 → 영양 정보 자동 변환 흐름

YOLOv8 — 음식 이미지 1차 필터링 음식으로 분류된 경우만 다음 단계로 진행. 음식이 아닌 이미지는 즉시 반려하여 API 비용 절감 및 응답 속도 향상.

Gemini Vision API — 상세 음식 분석 음식 종류 식별 및 추정 섭취량 분석. 복합 음식(비빔밥, 찌개 등) 포함 다품목 동시 인식.

공공데이터 식품영양성분 DB 매핑 칼로리 · 탄수화물 · 단백질 · 지방 · 나트륨 등 영양소 수치 계산. 공신력 있는 국가 데이터 기반.

식단 기록 저장 (MySQL RDS) 분석 결과를 사용자 이력에 누적 저장. RAG 파이프라인의 컨텍스트 소스로 활용.

💬 결과 예시 — "닭볶음밥 1인분 (450 kcal) · 탄수화물 62 g · 단백질 18 g · 지방 14 g · 나트륨 890 mg"

🤖 RAG 파이프라인

사용자 질문 → 개인화 답변 생성 흐름

질문 임베딩 (text-embedding-3-small) 사용자 질문을 고차원 벡터로 변환하여 의미 기반 검색 준비.

Vector DB Semantic Search (Pinecone) 인바디 이력 · 이번 주 식단 기록 · 운동 로그 · 질환 정보 · 목표 설정 등 관련 컨텍스트 검색.

GPT-4o 컨텍스트 주입 → 맞춤 답변 생성 LangChain 오케스트레이션으로 검색된 개인 데이터를 GPT-4o에 주입해 일반 정보가 아닌 '내 기록 기준' 답변 생성.

💬 결과 예시 — "최근 3일간 탄수화물 목표 대비 12% 초과. 저녁에 닭가슴살 샐러드를 추천드립니다."

💡 Pain Point (해결할 문제)

① 파편화

건강 관리 도구의 파편화

식단·운동·병원 일정을 별도 앱에서 관리해 데이터 연속성이 낮고 앱 전환 비용이 기록 이탈을 가속. 단일 플랫폼으로 해결.

② 진입 장벽

식단 기록의 높은 진입 장벽

텍스트 수동 입력·바코드 스캔 의존으로 기록 이탈률이 높음. 사진 1장 → Vision AI 자동 분석으로 마찰을 제거.

③ 획일성

획일적 AI 조언

개인 건강 이력·식단 로그·질환 정보를 반영하지 못하는 일반 정보 수준에 그침. RAG 파이프라인으로 '내 데이터를 아는 AI' 실현.

④ 연동 부재

트레이너 연동 채널 부재

이용자 건강 데이터가 트레이너에게 전달되는 인앱 채널이 없어 대면 상담 시 수기 보고에 의존. AI 자동 요약 리포트로 해결.

⑤ 동기 부족

동기 부여 지속성 부족

단기 목표 달성 후 앱 이탈 빈번. 포인트·Streak 보상 시스템으로 내재적 동기를 강화하고 장기 습관 형성 유도.

📊 경쟁사 비교 분석

구분	Noom	Samsung Health	On-Care ✦
식단 기록	수동 텍스트 입력	바코드 스캔 위주	사진 1장 → YOLOv8 필터링 + Gemini Vision AI 영양 분석
AI 개인화	일반적 조언	단순 목표 설정	RAG로 내 건강 DB를 참조하는 AI 코치
운동·식단 통합	분리 운영	운동 중심 + 식단 추가형	식단·운동·일정·상담 완전 통합
헬스장 연동	✗	✗	위치 검색·예약·트레이너 채팅
보상 메커니즘	제한적	✗	포인트·Streak·프리미엄 기능 교환

⚙️ 기술 스택

AI / ML

YOLOv8 Gemini Vision API GPT-4o LangChain Pinecone text-embedding-3-small PyTorch

YOLOv8으로 음식 여부를 1차 필터링해 불필요한 API 호출을 차단하고, Gemini Vision으로 세밀한 영양 분석 수행. Pinecone에 저장된 개인 건강 이력을 GPT-4o에 주입하는 RAG 파이프라인이 핵심 차별점.

Mobile

Flutter 3.x Riverpod Dart

단일 코드베이스로 iOS·Android 동시 지원. Riverpod으로 상태 관리 복잡도 제어.

Backend

FastAPI MySQL (AWS RDS) JWT 인증 SQLAlchemy Uvicorn

FastAPI 비동기 처리로 AI 추론 대기 시간 최소화. JWT로 사용자 인증 관리.

Infra & DevOps

Docker AWS EC2 GitHub Actions CI/CD Firebase FCM

Docker로 개발 환경 통일. GitHub Actions로 빌드·테스트·배포 자동화.

External APIs

카카오맵 API 공공데이터포털 식품영양성분 DB

국가 식품영양성분 DB로 칼로리·탄수화물·단백질·지방·나트륨 공신력 있는 수치 매핑.

✨ 기대 효과

📸 식단 기록 자동화

사진 1장으로 칼로리·영양소 즉시 분석. 기록 마찰 최소화로 일일 식단 기록 유지율 향상.

🧠 개인 맞춤 AI 코칭

RAG 파이프라인으로 인바디·식단 로그·운동 이력·질환 정보를 LLM에 주입. 일반 앱과 차별화되는 실질적 조언 제공.

🔗 건강 관리 통합화

식단·운동·헬스장·병원 일정을 단일 플랫폼에서 관리. 앱 전환 비용 제거 및 데이터 연속성 확보.

🤝 트레이너-이용자 연결

AI가 이용자 데이터를 자동 요약해 트레이너에게 전달. 전문 지도의 질·효율 향상 및 상담 준비 시간 단축.

🏥 만성질환 예방 기여

2030세대의 조기 식습관·운동 습관 개선을 통해 고혈압·당뇨·이상지질혈증 발병 위험 감소에 기여.

🎯 장기 지속성 확보

포인트·Streak 보상 시스템으로 내재적 동기 강화. 단기 이탈 방지 및 장기적 건강 습관 형성 유도.

👥 팀원 소개

최지수

@aJISUa

박서연

@seoyeon0516

신수빈

@subin21cc

지도 교수: 황의원 교수님 · 이화여자대학교 컴퓨터공학전공