Fold 1, score: 0.9430447602411901
100%|██████████| 1623/1623 [20:31<00:00,  1.32it/s]
Fold 2, score: 0.9457411652139817
100%|██████████| 1623/1623 [20:07<00:00,  1.34it/s]
Fold 3, score: 0.9604408609815994
100%|██████████| 1623/1623 [20:03<00:00,  1.35it/s]
Fold 4, score: 0.9529212395312482
100%|██████████| 1623/1623 [19:49<00:00,  1.36it/s]
Fold 5, score: 0.968016424903563
100%|██████████| 1623/1623 [19:49<00:00,  1.36it/s]
Average Score is 0.9540328901743165

인데, LB는 94.7정도 뜨네요.

각각의 single-model은 93~94 안이구요.

확실한건, k-fold쓰는 게 좋아보이긴 합니다. 다만, LB 는 fold에서의 Minimum + ~0.5정도 뜨는 것 같아요.

다만, 저는 TTA x1을 쓰고 있는데, x3, x5쓰면 성능향상이 있을 것 같으면서도, 속도 측면에서는 잘 모르겠네요.. ㅎㅎㅎ

제 LB에 나와있는거는 5-fold를 위 모델이 아닌 다른 3 개의 모델로 돌린건데, 속도는 포기하더라도 성능을 올리고 싶다! 하시면 시도해보셔도 좋을 것 같아요!

성능이 꽤나 많이 오르더라구요..!