2024 NH 투자증권 빅데이터 경진대회

생성형 AI를 활용한 미국 ETF 큐레이션 서비스 제안을 위하여 데이터 EDA, 데이터 시각화, 서비스를 본격적으로 구현하기에 앞서 간단한 수준으로 demo 구현 및 테스트를 진행했습니다. 

해외 주식종목 데이터로 섹터별, 산업별로 상관계수 분석, 수익률 분석, 베타 계수 등을 분석하여 데이터 자체 및 미국 ETF를 구성하는 개별 종목에 대한 분석을 진행했습니다. 

Plotly(시각화 라이브러리) SQL query를 이용하여  사용자가 티커 코드를 입력하면 그에 맞춰 사전에 정의된 다양한 종류의 시각화 생성 코드를 구현했습니다.

OpenAI API의 텍스트 임베딩 기능과 chat creation 기능을 사용해서 RAG 기반의 챗봇을 구현하기 위한 간단한 버전의 test를 진행했습니다. QQQ ETF 관련 리포트 PDF파일에서 Text로 읽어오고 이걸 다시 임베딩 한 뒤에 similarity를 기반으로 가장 적합한 문서를 찾아 context로 제공하여 chatgpt가 QQQ ETF의 최신 성과 지표를 문서를 기반으로 답변하는 것을 확인했습니다. 

ETF Score 데이터에 대해 기초 통계와 분포를 분석하고, Score, Risk, Return 관련 변수들의 특성을 파악했습니다. 클러스터링에는 k-means와 컬럼값 크기 기반 방법을 사용했습니다. k-means는 데이터 간 거리를 최소화해 변동성이 적은 경우에도 효과적으로 군집화할 수 있으며 크기 기반 클러스터링은 변수의 절대적 크기나 순위를 반영하여 그룹화합니다. 두 방법을 함께 사용해 상대적 변화와 절대적 크기를 모두 고려할 수 있었습니다.

7일 및 30일 기준으로 클러스터를 비교 분석한 결과, 외부 이슈가 없는 경우 미국 ETF는 안정적이었고 변동이 큰 경우에는 외부 요인이 작용한 것을 확인했습니다. 이를 바탕으로 큐레이션 서비스는 최신 데이터(7일, 30일 기준)를 반영하고, 관련 뉴스 인사이트와 ChatGPT API를 활용한 투자 비율 설정을 통해 맞춤형 큐레이션이 가능하도록 기획하였습니다.