월간 데이콘 행동 데이터 분석 인공지능 AI 경진대회

아래는 솔루션 요약입니다.

핵심 IDEA

• Player0, 1의 종족 순서를 통일하였습니다. 예를들어 T vs Z는 Z vs T과 같은 싸움이기 때문에 T vs Z로 기준을 잡고 Z vs T은Player ID와 종족을 Swap 해주었습니다. 그리고 마지막에 swap한 항목들은 1-prob로 예측값을 바꿔주었습니다.
• Feature의 개수가 많아 Permutation Importance로 Feature Selection을 해주었습니다. 다만 이 Permutation Importance를 각 Fold마다 따로 적용하여 Fold마다 Feature Selection을 다르게 하였습니다. Fold별로 데이터 형태가 달라서 폴드 마다 하지 않으면 손해보는 FOLD가 생기는 것 같았습니다.
• LGBM + CAT Ensemble
• Neptune AI를 활용하여 체계적으로 실험 정리

Feature

• Player별 Ability Code Count, Diff
• Selection Unit ID를 활용한 Unique한 Unit 개수
• 시간 구간별 Event Count Feature
• RightClick Target 상위 50개 개수 및 diff 값
• Camera POS X, Y std, min, max, mean
• ability code 상위 20개를 2개씩 combination DIFF 예를 들면 아래 Feature를 DIFF하였습니다.

'ability_code_5A0_player_0', 'ability_code_1360_player_0'

• unique한 unit 상위 20개를 2개씩 combination IDFF

'Egg_len_player_0', 'SCV_len_player_0'

• Ability Code가 첫번째 발생한 시간 100개
• Ability Code가 마지막에 발생한 시간 10개

Modeling

• LGBM gbdt
• StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
• Catboost

Ensemble

• LGBM 0.6 + CAT 0.4

시도해본 것들

• Data Augmentation: 꽤 좋은 IDEA라고 생각하고 시도했었습니다. Data자체도 전체 Sample중에서 10분 이하로 자른 것이기 때문에 Train Data를 GameID별로 Random으로 뽑아서 시간분포를 원래 분포와 비슷하게 혹은 Random으로 잘라서 Augmentation 했었습니다. Event도 비율을 정해서 10%, 20% 등 Random으로 일부 뺐었는데, Data를 많이 빼면 성능이 나빠지고 Data를 많이 빼지 않으면 Overfitting이 심하게 발생했습니다. 적정 비율을 찾으면 좋을 것 같은데 어느정도 해보고 더 시도해보지 않았습니다.
• Pseudo Labeling
• Start Position과 Map, 성능 향상이 크지 않아 일단 제외하였습니다.
• Count를 Time으로 나눠주기
• Location 정보들로 Aggregation
• Build Order
• 종족별로 모델 다르게 만들기
• Seed Ensemble(성능이 더 좋은데 오래걸려서 최종 제출에서 선택하지 않았습니다.)
• Player_1, Player_0을 나누지 않고 하나의 Player로 하고 대신 Row별로 Player가 2개가 되도록 함, 즉 같은 game_id에 row가 2개 생기도록.. 성능이 약간 안좋아서 더 사용하지 않음
• 기타 많은 거쳐간 Feature들..ㅠㅠ

감사합니다.