새싹 해커톤

아이디어 | 생성형 AI | 생성 | 정성평가

상금 : 1,500만원
619명 마감

마감

대회안내 데이터 코드 공유 토크 리더보드

제출

내 지갑 구멍 막아주는 꺼비🐸: 정보취약계층을 위한 전기/가스/수도요금 AI 케어 서비스

꺼비

공동작성자

2024.07.22 03:43 823 조회 language

- OpenAI GPT-4o mini API를 활용해 쉽게 물어봐도 쉽게 답해줄 수 있도록 했습니다.
- Chat GPT를 통해 여러 플랫폼에 산재된 정보를 통합 제공하여 누구나 알아야 하는 정보, 정말 누구든 알 수 있도록 했습니다. (assistants - File search tool 사용. 텍스트 프롬프트 : Instructions, 여타 파일 프롬프트 : File search)
- CLOVA OCR API를 활용해 종이 고지서에서 텍스트를 추출, 맞춤형 상담이 가능하도록 했습니다. (Clova OCR Template 사용하여 필드 지정 후 인식 값을 json 형식으로 추출)

[코드 세부 사항]
1. 기술 스택 : React, Node, Express, Firebase
2. 코드 설명 : sesacton_server(back)
- Endpoint :
(1) 이미지 첨부 후 대화 스레드 생성 첫 질문 응답
A. POST /chat/message
B. 설명: 사용자가 업로드한 고지서 이미지 URL을 받아 해당 이미지에서 Clova OCR로 텍스트를 추출한 후 OpenAI assistants로 대화 스레드를 생성. 이후 스레드에 첫 질문을 전송하여 AI의 고지서 분석 응답을 반환.
(2) 생성된 스레드에서 질문과 응답을 주고 받음
A. POST /chat/message
B. 설명: 사용자가 생성한 스레드에 추가 질문을 보내면 이에 대한 AI의 응답을 반환.
3. 코드 설명 : sesacton(front)
- UserFlow :
(1) 고지서 이미지 업로드 및 분석 내용 렌더링 : 사용자가 고지서 이미지를 업로드하면 ‘/chat’ endpoint로 이미지 URL을 body에 넣어 POST 요청. 이후 서버에서 받은 응답 렌더링.
(2) 질문 및 응답 내역 렌더링 : 고지서 분석을 받으면 여러가지 추가 질문을 작성. 이를 ‘/chat/message’ endpoint로 질문 내용을 body에 넣어 POST 요청. 서버에서 받은 응답을 렌더링.