파주 시민 AI 혁신 아이디어 경진대회

아이디어 | 생성형 AI | 서비스 개발 | 파주시

  • moneyIcon 상금 800만 원
  • 312명 마감

 

[ALPACO] 파주, 돌봄ON

공동작성자

stroke
2025.11.14 21:38 160 조회 language

STT → RAG → GPT → TTS 로 이어지는 파이프라인은 아래와 같습니다.
[마이크 음성] →STT (Whisper)→RAG 검색 (BM25)→ 답변 생성 (SKT ax4)→TTS (gTTS) →[음성 출력]

코드에 대한 상세 설명은 다음과 같습니다. 
1) 음성 인식(STT) — stt_tts.py
Whisper 모델을 활용하여 사용자의 음성을 텍스트로 변환

2) 문서 검색(RAG) — rag_engine.py / rag_service.py
파주시 조례·행정문서(JSONL) + 보건소 조직 정보(JSON)를 통합하여 BM25 + FAISS Hybrid 검색
노년층 문의(“어디 전화해야 해요?” / “어디 가면 돼요?”)에 대비하여 전화번호·담당업무·부서명 우선 검색 알고리즘 구성한 후, 
검색된 문서(근거)를 GPT가 사용할 수 있는 단일 Text Context로 변환

3) 답변 생성(GPT) — llm_engine.py / paju_careon_fastapi.py
SKT A.X(AX4) 모델을 활용하여 “노인 친화형·짧고 문장·쉬운 단어와 문장으로 천천히 말할 것”을 원칙으로 하여 답변 생성
조례·행정근거가 있으면 반드시 반영하도록 프롬프트 설계하고, 행정지역을 고려하여 전화번호 안내 등 별도 지정 할 수 있게 location 지정 설계함
정확한 정보가 없을 때는 민원콜센터 연결 원칙 적용하여 안전성 확보

4) 음성 출력(TTS) — stt_tts.py
gTTS 기반 MP3 생성
키오스크 UI에서 즉시 재생되도록 /static/tts/ 경로에 저장
괄호 안 내용 제거(조문번호 등)로 어르신 발화 이해도 향상

5) 웹 서비스(FastAPI + UI) 
키오스크 UI는 자동 무음 감지로 손쉬운 음성 입력 지원
STT, RAG, GPT, TTS 처리 후, 텍스트 + 음성 안내를 동시에 제공

PDF
코드
로그인이 필요합니다
0 / 1000
stonez788
2025.11.14 22:08

확인

산산히
2025.11.21 10:37

우와 아이디어가 매우 훌륭하네요
어르신들 입장에서 UX 잘 잡으신듯해요 👍