2023 NH 투자증권 빅데이터 경진대회, “블룸버그, 나스닥과 함께 세계속으로!”

 1. FinBERT를 통한 뉴스 데이터 감정분석
   FinBERT 활용하여 긍정, 중립, 부정의 점수를 활용하여 개별 뉴스의 제목에 대하여 분석을 진행하고 해당 점수들을 일자 별로 평균 냄으로써 시장 전체에 대한 뉴스 지수를 생성하였습니다.

2. 제공데이터와 외부데이터 전처리
   확보한 지수별 종가를 바탕으로 Log 수익률을 산출하고
   30분 단위 데이터로부터 개장 이후 30분, 폐장 직전 30분 수익률을 산출하였습니다.
   시장의 변동성을 확인하기 위해 Parkinson 추정량을 참고하여 High-low 스프레드를 연산하여 변동성 지수로 활용하였습니다.

3. 데이터 병합 및 결측치 제거
   해당 데이터들을 전부 날짜를 기준으로 Merge를 하였고,
   이를 Plotly를 활용한 상호작용 가능한 차트 (interactive chart)로 구성하여 데이터의 특성을 확인하기 쉽도록 하였습니다.
   또한 해당 부분을 Streamlit을 활용하여 web-app으로 배포하여 공유가 쉽도록 하여 데이터에 대한 이해도를 높일 수 있도록 하였습니다. 
   미국 시장과 한국 시장의 개장일에 차이가 있음을 고려하여, 한국 시장이 휴장하는 동안 미국 시장 변수를 누적 합산하거나 평균을 취하였습니다.

4. 일별 수익률 예측 & SHAP 분석
   Random Forest 모형을 활용하여 각 오픈 30분 수익률, 일별 수익률의 예측을 진행하고 SHAP를 활용하여 분석을 진행하였습니다.
    1. 코스피 전체 시장
    2. 코스닥 전체 시장
    3. 코스피 Large Cap
    4. 코스피 Mid Cap
    5. 코스피 Small Cap
데이터 저장 드라이브 : https://drive.google.com/drive/folders/1MLpcwey8DjYn-8uLNOCX2uQrN3sS0nxZ?usp=drive_link
웹 페이지 : https://nh-dashboar-my-account-too-cold.streamlit.app