파이팅!

감사합니다.

감사합니다.

실험할 때는 Optuna를 이용하여 파라미터 조절을 했습니다.
파라미터 조절 같은 경우는 sklearn 내장모델은 sklearn에 나와있는 각각 모델 파라미터들을 찾아서 Optuna로 조절 해주었고 boosting 계열 같은 경우는
CatBoostClassifier(objective='MultiClass', eval_metric="TotalF1:average=Macro")
LGBMClassifier(objective='multiclass') -> fit함수에서 eval_metric을 custom해서 "f1_macro" loss를 줄이는방식으로 학습되게함
XGBClassifier(objective='multi:softmax', num_class=3) 을 고정으로 사용하였고 Optuna로 튜닝한 파라미터는 일반적으로 성능에 영향을 크게 주는 learning_rate, n_estimators, max_depth 같은 파라미터들 위주로 튜닝을 했었습니다.

최종모델은 데이터셋이 작고 분류이다 보니 Optuna 사용 전후가 class_weight 파라미터를 제외하면 기본 모델과 predict 결과 값 차이가 없어서 Optuna를 사용한 코드를  제외하고 모델 기본 파라미터에 seed만 고정해서 제출했습니다.

만약에 데이터셋이 크거나 회귀였다면 파라미터 튜닝 및 시드 앙상블 같은 기법은 필수라고 생각됩니다.

감사합니다.

감사합니다.

감사합니다.

1. 더 많은 파생변수들 중에서 feature selection을 통해 선택된 파생변수들인 것인가요? 
: feature selection한 결과를 참고하였지만 feature selection을 통해 선택된 파생변수는 아닙니다.
파생변수 생성같은 경우도 궁금하실꺼 같아서 올려드리자면 80여개를 생성하였고 예를 들어 코드중 일부를 공유해드리자면
predict = pd.DataFrame()
for i in range(len(info_list)):
  model = KMeans(n_clusters=6, random_state=CFG.SEED)
  model.fit(info_list[i])
  predict = pd.concat([predict,pd.DataFrame(model.predict(info_list[i]))],axis=1)
predict.columns = ['chrom_clust','cm_clust','pos_clust','chorm_cm_clust','chorm_pos_clust','cm_pos_clust','chrom_cm_pos_clust']
snp_info = pd.concat([snp_info,predict], axis=1)
처럼 snp_info.csv 파일을 활용하여 clustering 및 SNP_합,분할 등등을 한 피처를 생성하였습니다.
feature selection을 하였을 때 SNP_합, ACG개수 등등이 중요하게 찍히고 나머지 피처도 중요하지 않은것은 아니었지만 위 코드에서 사용한 피처만으로도 충분히 고도화된 성능이 나와서 최종 피처를 결정하였습니다.

2. feature selection은 어떤 라이브러리를 사용하셨는지 궁급합니다..! 
 :  Shap와 percentile 두 개의 라이브러리를 사용하였고 추가적으로  feature importance를 찍어보면서 선별했습니다.