분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[ALPACO] 파주, 돌봄ON
공동작성자
STT → RAG → GPT → TTS 로 이어지는 파이프라인은 아래와 같습니다.
[마이크 음성] →STT (Whisper)→RAG 검색 (BM25)→ 답변 생성 (SKT ax4)→TTS (gTTS) →[음성 출력]
코드에 대한 상세 설명은 다음과 같습니다.
1) 음성 인식(STT) — stt_tts.py
Whisper 모델을 활용하여 사용자의 음성을 텍스트로 변환
2) 문서 검색(RAG) — rag_engine.py / rag_service.py
파주시 조례·행정문서(JSONL) + 보건소 조직 정보(JSON)를 통합하여 BM25 + FAISS Hybrid 검색
노년층 문의(“어디 전화해야 해요?” / “어디 가면 돼요?”)에 대비하여 전화번호·담당업무·부서명 우선 검색 알고리즘 구성한 후,
검색된 문서(근거)를 GPT가 사용할 수 있는 단일 Text Context로 변환
3) 답변 생성(GPT) — llm_engine.py / paju_careon_fastapi.py
SKT A.X(AX4) 모델을 활용하여 “노인 친화형·짧고 문장·쉬운 단어와 문장으로 천천히 말할 것”을 원칙으로 하여 답변 생성
조례·행정근거가 있으면 반드시 반영하도록 프롬프트 설계하고, 행정지역을 고려하여 전화번호 안내 등 별도 지정 할 수 있게 location 지정 설계함
정확한 정보가 없을 때는 민원콜센터 연결 원칙 적용하여 안전성 확보
4) 음성 출력(TTS) — stt_tts.py
gTTS 기반 MP3 생성
키오스크 UI에서 즉시 재생되도록 /static/tts/ 경로에 저장
괄호 안 내용 제거(조문번호 등)로 어르신 발화 이해도 향상
5) 웹 서비스(FastAPI + UI)
키오스크 UI는 자동 무음 감지로 손쉬운 음성 입력 지원
STT, RAG, GPT, TTS 처리 후, 텍스트 + 음성 안내를 동시에 제공
우와 아이디어가 매우 훌륭하네요
어르신들 입장에서 UX 잘 잡으신듯해요 👍
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
확인