SW중심대학 디지털 경진대회_SW와 생성AI의 만남 : SW 부문

<무지개>: 자폐 스펙트럼 아동이 감정의 스펙트럼을 배울 수 있도록

1. 프로젝트 소개
 "자폐 스펙트럼 아동이 감정 훈련을 매일 집에서 10분씩, 아이의 하루 일과를 기반으로 한 개인화된 훈련으로 진행할 수 없을까?"
<무지개>는 생성형 AI를 활용해 자폐 스펙트럼 아동이 자신의 하루 일기를 바탕으로 감정 표현을 훈련하는 시스템입니다. 이 프로젝트는 수도권에 집중된 치료 기관의 한계와 생활습관 교육에 밀려 감정교육을 진행하지 못하는 특수학교의 한계를 해결합니다.
자폐 스펙트럼 아동의 부모와 교사가 아동의 하루 일과를 입력하면, AI가 일기 속 감정을 분석해 학습할 감정어를 추출합니다. 학습된 생성형 AI가 일기를 기반으로 그림과 음악을 생성하며, Face Tracking과 Eye Tracking 기술을 기반으로 아동은 3D 캐릭터와의 인터렉션을 통해 자신의 하루 감정에 어울리는 표정 연습과 감정어 학습을 진행합니다. 매주 퀴즈와 데이터 추적을 통해 다양한 지표로 감정 훈련 진척도를 평가하며 훈련에 필요한 콘텐츠를 추천합니다.
<무지개>는 자폐 스펙트럼 아동의 사회화 훈련을 시작으로 지적 장애, 학습 장애 아동들의 사회화를 돕는 디지털 교육 생태계 구축을 목표로 합니다.

2. 기술 스택: Python, React, Node.js, Flask, Three.js

3. 구현 기능
- AI를 통한 하루 일과 속 감정 분석 및 감정어 추출
- 상황과 감정에 일치하는 그림과 음악 생성
- Face Tracking 및 Eye Tracking 기반 3D 캐릭터 인터렉션
- 매주 퀴즈 및 데이터 추적을 통한 진척도 평가

4. 무지개의 데모 영상을 확인하세요: https://youtu.be/NLXxJixbfCA
5. 무지개의 음악 생성 결과를 확인하세요: https://notch-beaufort-e05.notion.site/61a1cc3c5d7348ac99d3fc1b43891c9c