2026 Capstone Design

HealthMate AI

온케어 (On-Care)

불규칙한 생활 속 2030을 위한 고혈압·당뇨 위험군 대상 식단 인식·코칭 통합 헬스케어 플랫폼

Flutter 3.x FastAPI YOLOv8 + Gemini Vision GPT-4o · RAG Pipeline Pinecone Vector DB

📌 프로젝트 소개

프로젝트명HealthMate AI: 불규칙한 생활 속 2030을 위한 고혈압·당뇨 위험군 대상 식단 인식·코칭 통합 헬스케어 플랫폼
서비스명 (브랜드)온케어 (On-Care)
트랙산학 연계 (Industry-Academic Track)
팀명Sudo (Team 02)
팀 구성최지수 (Data Analyst & Backend), 박서연 (DevOps & Backend), 신수빈 (AI & Frontend)
지도 교수황의원 교수님 · 이화여자대학교 컴퓨터공학전공

🎥 라이브 데모 가이드 및 시연 영상

셀프 데모 프로세스를 진행하거나 앱 구동 아키텍처의 UX 흐름이 필요한 순간, 아래 가이드 영상과 타임라인 나레이션 대본을 참고할 수 있습니다.

▶ YouTube 데모 영상 보러가기
  • [00:03]시연 시나리오 및 기저질환 위험군 김민수 페르소나 도입부 설명
  • [00:11]Scenario 1. 홈 탭: 체중·혈압·혈당 입력 및 건강 데이터 저장 흐름 확인
  • [00:44]Scenario 2. My 탭: 누적 건강 기록과 고혈압·당뇨 위험 주의 알림 카드 확인
  • [01:10]Scenario 3. 식단 관리: 주간 식단 기록 조회 및 YOLOv8 + Gemini Vision 기반 음식 사진 자동 분석
  • [02:15]Scenario 4. 운동 관리: 운동 기록 입력 및 주간 운동 현황 그래프 시각화
  • [03:00]Scenario 5. 헬스장 연동: 트레이너 1:1 상담과 위치 기반 헬스장 찾기 기능 확인
  • [03:58]Scenario 6. 통합 일정 관리: 병원 정기검진·건강검진·헬스장 운동 일정 통합 캘린더 확인
  • [04:35]Scenario 7. 통합 AI 코치: 식단·운동 상태 기반 단백질 보충, 산책, 수분 보충 등 실천 피드백 제공
  • [05:17]On-care 서비스 데모 시연 마무리
🎬 [클릭] 타임라인별 상세 나레이션 대본 전체 보기

[00:03] 도입 및 홈 탭: "최근 건강검진에서 고혈압과 당뇨 위험군 판정을 받은 27세 직장인 김민수 씨의 하루를 통해 On-care 서비스 데모를 시연하겠습니다. 홈 화면 상단에서는 만성질환 위험군이 매일 확인해야 하는 핵심 건강 지표인 체중, 혈압, 혈당을 바로 입력하고 저장할 수 있습니다."

[00:44] My 탭 — 누적 건강 기록 및 위험 알림: "My 탭에서는 앞에서 입력한 건강 데이터가 개인 건강 기록으로 누적되어 표시됩니다. 프로필 아래의 ‘고혈압·당뇨 위험 주의’ 알림 카드를 통해 최근 혈압과 혈당 추세가 다소 높다는 정보를 확인할 수 있으며, 사용자는 자신의 위험 신호를 지속적으로 점검할 수 있습니다."

[01:10] 식단 관리 — 식단 기록 조회: "식단 관리 화면에서는 상단의 주간 스트립 캘린더를 통해 오늘뿐만 아니라 이전 날짜의 식단 기록도 쉽게 확인할 수 있습니다. 오늘 날짜를 선택하면 기록된 아침과 점심 메뉴가 표시되고, 각 메뉴별 칼로리, 나트륨, 당류 정보를 함께 확인할 수 있습니다."

[01:40] Vision AI 식단 기록 — 음식 사진 자동 분석: "식단을 새로 기록할 때는 음식 사진을 업로드하면 됩니다. 먼저 YOLOv8 필터가 해당 이미지가 음식 사진인지 확인하고, 이후 Gemini Vision API가 음식 이미지를 분석해 메뉴와 영양 정보를 계산합니다. 분석 결과는 음식명, 칼로리, 나트륨, 당류 정보로 자동 추가되어 직접 검색하고 입력해야 하는 번거로움을 줄여줍니다."

[02:15] 운동 관리 — 주간 운동 현황 시각화: "운동 관리 화면에서는 사용자가 자신의 운동 기록을 입력하고, 이번 주 운동 현황을 한눈에 확인할 수 있습니다. 주간 누적 운동 시간은 유산소, 근력 운동 등 운동 유형별 막대그래프로 표시되어 목표 대비 운동량이 충분한지 파악할 수 있습니다."

[02:42] 운동 기록 추가 — 데이터 반영: "운동 유형과 운동 시간을 입력한 뒤 저장하면 해당 운동 기록이 오늘의 운동 데이터에 추가됩니다. 저장된 기록은 주간 운동 현황 그래프에도 반영되어 사용자가 자신의 운동 패턴을 지속적으로 관리할 수 있도록 돕습니다."

[03:00] 트레이너 상담 연동 — 건강 데이터 기반 1:1 상담: "On-care는 내부 기록에만 머무르지 않고 오프라인 건강 관리 서비스와도 연결됩니다. 트레이너 상담 화면에서는 사용자의 최근 운동 기록, 선호 운동 유형, 고혈압 위험군 정보가 건강 데이터 요약본 형태로 제공되어, 트레이너가 기존 데이터를 바탕으로 맞춤 운동 상담을 이어갈 수 있습니다."

[03:29] 헬스장 찾기 — 위치 기반 오프라인 연결: "새로운 운동 시설을 찾고 싶을 경우 헬스장 찾기 기능을 사용할 수 있습니다. 현재 위치 기반으로 주변 헬스장 목록이 표시되며, 사용자는 각 시설의 평점, 운영 시간, 전문 분야 태그를 확인하고 자신에게 맞는 센터를 선택할 수 있습니다."

[04:18] 홈 탭 일정 연동 — 오늘의 일정 카드: "다시 홈 화면으로 돌아오면, 캘린더에 등록된 병원 정기검진과 헬스장 운동 일정이 ‘오늘의 일정’ 카드에 표시됩니다. 이를 통해 사용자는 서비스에 접속하자마자 오늘 해야 할 건강 관리 행동을 바로 확인할 수 있습니다."

[04:35] 통합 AI 코치 — 실천 행동 피드백: "홈 화면 하단의 통합 AI 코치 패널에서는 민수 씨의 오늘 식단과 운동 상태를 바탕으로 실천 가능한 건강 관리 피드백을 제공합니다. 오전 운동량을 반영해 점심에 단백질 보충을 제안하고, 저녁에는 가벼운 산책 15분을 추천하는 식으로 다음 행동을 안내합니다."

[05:00] 서비스 가치 요약 — 기록에서 실천으로: "On-care 서비스는 단순히 건강 기록을 보여주는 데 그치지 않고, 사용자의 일일 기록을 바탕으로 다음에 실천할 수 있는 행동을 제안합니다. 이를 통해 사용자가 자신의 건강 상태를 더 쉽게 이해하고, 식단·운동·수분 관리를 생활 속에서 이어갈 수 있도록 돕습니다."

[05:17] 마무리: "이상으로 On-care 서비스 데모 시연을 마치겠습니다. 감사합니다."

🔍 Overview

2030세대의 만성질환 유병률이 구조적으로 급증하는 가운데, 기존의 디지털 헬스케어 서비스들은 여전히 기록의 번거로움, 맥락 없는 획일적 조언, 그리고 온·오프라인의 단절이라는 임계점을 보이고 있습니다.

On-Care는 이러한 파편화와 마찰을 정면으로 해결하기 위해 구축 중인 통합 AI 헬스케어 플랫폼입니다. (현재 Flutter MVP 동작 · 핵심 AI 엔진은 프로토타입·설계 단계)

① Vision AI 2-stage 파이프라인
YOLOv8 푸드 필터와 Gemini Vision을 연동하여 불필요한 비용을 막고 영양 분석의 한국 표준 정확도 확보
② RAG 기반 맥락 참조 AI 코치
사용자의 인바디·식단 로그·운동 이력을 Pinecone DB에 임베딩하여 GPT-4o에 실시간 컨텍스트로 주입
③ 온·오프라인(O2O) 솔루션 통합
식단·운동 기록뿐만 아니라 카카오맵 기반 헬스장 연동, 트레이너 인앱 채팅, 통합 일정 관리를 단일 플랫폼화

✨ 핵심 기능

상태 — ✅ 구현 · 🟡 프로토타입(별도 PoC) · 🔵 설계 단계 (UI 구현 = 화면 동작)

Vision AI 🟡 프로토타입

🍱 Vision AI 식단 자동 인식

음식 사진 1장으로 식품 종류·섭취량·칼로리·영양소를 자동 인식. YOLOv8로 음식 여부를 가려낸 뒤 Gemini Vision 분석 후 국가 영양성분 DB 매핑.

RAG · GPT-4o 🔵 설계

🤖 RAG 기반 AI 헬스 챗봇

사용자의 누적 건강 데이터 이력과 Vector DB 컨텍스트를 GPT-4o에 실시간 주입하여 일반론이 아닌 '내 이번 주 기록 기준'의 밀착 코칭 제공.

하이브리드 엔진 🔵 설계 (UI 구현)

🏃 AI 맞춤 운동 코칭

개인별 체력 상태, 운동 목적, 기저 질환 상태에 맞춰 운동 루틴을 생성하고 피드백 루프에 따라 강도 및 스트레칭 세션을 동적 재조정.

O2O 커넥션 🔵 설계 (UI 구현)

🏋️ 헬스장 검색 & 트레이너 연동

카카오맵 API 기반 시설 예약 및 트레이너 인앱 채팅 연동. 플랫폼에 축적된 식단 및 운동 건강 데이터 요약본을 트레이너에게 안전하고 간편하게 자동 전송.

일정 통합 ✅ 구현

📅 통합 건강 일정 관리

식단, 운동, 헬스장 예약 스케줄, 병원 정기검진과 종합 건강검진 일정을 단일 캘린더 아키텍처로 통합 관리.

게이미피케이션 🔵 설계

🏆 포인트 & Streak 보상 시스템

일일 건강 지표 및 식단/운동 연속 달성 기록에 따른 리워드(Streak) 부여로 유저의 지속적인 자가 관리 유도.

🏗️ 시스템 아키텍처

Flutter Cross-Platform App (iOS / Android)
대시보드 메트릭 멀티모달 식단 입력 AI 코칭 챗봇 (온이) O2O 트레이너 채팅 통합 캘린더 장기 지표 트렌드
↕ HTTPS REST API (Riverpod State Management)
FastAPI Backend (Docker / AWS EC2)
JWT 보호 인증 식단/운동 비동기 API LangChain RAG Pipeline O2O 매핑 로직 GitHub Actions CI/CD
Persistence & Memory
MySQL (AWS RDS) Pinecone Vector DB
Vision AI Pipeline
YOLOv8 이미지 필터 Gemini Vision 추론 Engine
Coaching Engine
Closed-domain RAG OpenAI GPT-4o
External Ecosystem & APIs
카카오맵 API 공공데이터포털 식품영양성분 DB Google Gemini API Firebase Cloud Messaging (FCM)

🍽️ Vision AI 식단 인식 파이프라인

음식 사진 1장 → 공공데이터 매핑 변환 프로세스
1
YOLOv8 음식 필터 단계 촬영된 원본 이미지 내 음식 객체의 포함 여부를 먼저 선행 판별합니다. 불필요한 멀티모달 LLM 호출을 사전 차단하여 시스템 인프라 비용 효율과 응답 속도를 향상시킵니다.
2
Gemini Vision API 정밀 분석 단계 음식 이미지로 유효성이 확인된 데이터에 한하여 세밀한 영양 분석 및 다품목 동시 식별 프로세스를 수행합니다.
3
공공데이터포털 식품영양성분 DB 크로스매핑 AI 분석 데이터 결과값을 기반으로 국가 공신력 기준 영양성분 데이터베이스와 즉각 매핑하여 한국 음식 인식 도메인 정확도를 확보합니다.
4
식단 로그 누적 적립 및 RAG 컨텍스트 동기화 정제된 칼로리·나트륨·당류 등의 수치를 사용자의 로컬/클라우드 데이터베이스에 기록하고 실시간 AI 코칭용 소스로 동기화합니다.
📊 파이프라인 연동 결과 — 자동으로 감지된 섭취 성분 메트릭(칼로리, 나트륨, 당류 요약) 제공

🤖 RAG 파이프라인

사용자 건강 이력 데이터기반 실시간 맞춤 피드백 구조
1
멀티 로그 수집 및 의미론적 벡터 변환 유저가 기록한 체중·혈압·혈당 트렌드 및 주간 운동 현황 등의 시계열 헬스 데이터를 고차원 벡터 임베딩 모델로 전처리합니다.
2
Pinecone Vector DB 컨텍스트 검색 사용자의 도메인 프로필(예: 고혈압·당뇨 위험군)에 매핑되는 핵심 건강 이력 및 영양학 가이드라인의 상관 데이터를 탐색합니다.
3
GPT-4o 오케스트레이션 및 프롬프트 가드레일 통과 수집된 컨텍스트 조각들을 GPT-4o 프롬프트 가드레일에 실시간 주입하여 의료 행위 위험성을 원천 차단한 안전한 밀착 맞춤 피드백을 형성합니다.
🤖 온이의 피드백 코칭 결과 — "오늘 점심 나트륨 섭취량이 높아요. 저녁에는 담백한 구이나 샐러드를 추천해요!"

💡 Pain Point (해결할 문제)

① 수치 급증 & 도구 정체

2030 만성질환 관리 부재

최근 5년간 청년층 당뇨·고혈압 유병률은 폭발적으로 급증했으나 기존 도구는 수동 입력 수준에 정체되어 젊은 층의 이탈을 유발합니다.

② 기록과 행동의 단절

번거로운 기록 프로세스

매끼 지속하기 힘든 바코드 검색 및 텍스트 매뉴얼 입력 방식은 유저 피로도를 가중시킵니다. Vision AI 원클릭 분석으로 마찰을 최소화합니다.

③ 맥락 없는 비개인화

단순 칼로리 알림의 한계

위험군 환자에게 중요한 것은 단순 총칼로리가 아닌 나트륨·당류의 '성분 제어'와 '누적 이력 추적'입니다. 맥락 기반 AI 피드백으로 우회합니다.

④ 온·오프라인 단절

트레이너 데이터 분리

앱 내부 기록 데이터가 실제 오프라인 체육시설이나 트레이너 지도 과정으로 흐르지 못해 연속성 있는 헬스케어가 어렵던 한계를 개선합니다.

📊 경쟁사 비교 분석

비교 항목 삼성헬스 (Samsung Health) 필라이즈 (Pillrise) 밀리그램 / 인아웃 On-Care (온케어) ✦
식단 기록 방식 직접 검색 및 수동 입력 위주 사진 기반 AI 인식 지원 사진 저장 및 빠른 입력 중심 사진 1장 → YOLOv8 필터링 + Gemini Vision AI 영양 분석
한국 음식 정확도 보통 (수동 데이터 의존) 보통 낮음 (사용자 임의 등록 데이터) 높음 (공공데이터포털 식품영양성분 DB 검증 검사)
AI 코칭 방식 활동 데이터의 단편적 해석 AI 코치 및 전문가 질의응답 소셜·챌린지 중심 동기부여 RAG 기반 누적 건강 이력 실시간 참조 및 가드레일 맥락 코칭
만성질환 특화 여부 없음 (일반 범용 웰니스) 일부 기능 (연동 혈당 중심) 없음 (다이어트 체중 감량 중심) 2030 고혈압·당뇨 위험군 도메인 특화 (나트륨/당류/GI 제어)
온·오프라인 연결 (O2O) 인앱 인프라 없음 시설 연동 없음 연동 채널 없음 카카오맵 기반 헬스장 예약 및 트레이너 실시간 건강 요약 리포트 자동 전송
플랫폼 독립성 특정 제조사 하드웨어 생태계 종속 iOS / Android 제공 iOS / Android 제공 Flutter 단일 코드베이스 기반 전 플랫폼 동일한 최고 수준 UX 유지

⚙️ 기술 스택 (Tech Stack)

AI / ML Engine
YOLOv8 Gemini Vision API GPT-4o LangChain Pinecone Vector DB text-embedding-3-small PyTorch Inference
YOLOv8 객체 탐지와 멀티모달 프롬프트 엔지니어링을 결합한 하이브리드 파이프라인. 한국영양학회 등 공인 가이드를 벡터화한 Closed-domain RAG 파이프라인이 탑재되어 있습니다.
Mobile Client
Flutter 3.x Dart Riverpod (State) GoRouter Drift (Local DB)
교차 플랫폼 프레임워크인 Flutter를 탑재하여 소스 효율성을 극대화하고 반응형 대시보드 및 통계 차트 그래픽 컴포넌트를 유연하게 렌더링합니다.
Backend Web Server
FastAPI MySQL (AWS RDS) JWT Authentication SQLAlchemy Uvicorn
FastAPI 비동기(Async) 아키텍처 아웃라인 기반으로 외부 대형 LLM 추론에 발생하는 I/O 지연을 능동적으로 제어하고 무중단 전송 효율을 구축합니다.
Infra & Cloud DevOps
Docker AWS EC2 GitHub Actions Firebase FCM Kakao Map API
컨테이너 가상화 배포 환경을 표준화하고 CI/CD 파이프라인 자동 구동을 유기적으로 연계하며 실시간 오프라인 맵 인터페이스를 구축하였습니다.

✨ 기대 효과

🍱 자가 만성질환 예방 효과

2030 청년층 유저들이 일상속에서 고혈압·당뇨 위험 인자를 지속 감시하여 성인 만성질환으로 이행되는 속도를 차단합니다.

🧠 행동 변화를 만드는 앱

순수 수집 도구 역할을 넘어 딥러닝 기반 개인 맞춤형 피드백 루프를 장착하여 유저가 스스로 실천을 바꾸는 동기 부여 기제를 유도합니다.

🤝 상생 헬스케어 생태계 (O2O)

인앱 건강 리포트를 피트니스 트레이너에게 안전하고 간편하게 연동 전송함으로써 온·오프라인 경계가 없는 입체적 PT 밀착 제어를 가능케 만듭니다.

👥 팀원 소개

최지수
최지수

Data Analyst & Backend

@aJISUa
박서연
박서연

DevOps & Backend

@seoyeon0516
신수빈
신수빈

AI & Frontend

@subin21cc

지도 교수: 황의원 교수님  ·  이화여자대학교 컴퓨터공학전공