문맥 기반 문장 순서 예측 AI 경진대회

안녕하세요
문맥 기반 문장 순서 예측 AI 경진대회에서 public/private 1위를 달성한 인지킹입니다.
취업을 준비하면서 LLM 활용 경험을 쌓으려고 시작했는데, 과제를 해결하기 위해 떠올린 아이디어가 생각보다 잘 들어맞아서 1위를 하게 되었네요.
사실 시작하고 1주일 정도에 이미 0.969~ 정도의 test acc로 1위가 확정되긴 했지만, 모든 모델을 철저하게 실험하고 검증하느라 3주를 더 소비했습니다.
마지막에는 확신은 없었지만 압도적인 승리를 위해 앙상블을 시도해봤는데 좋은 결과가 나와서 만족스러웠네요.

주요 해결 방법은 LLM의 지능을 활용하지 않고, decoder-only 모델의 본질인 causal language modeling을 사용하는 것이었습니다.
causal lm에서는 '자연스러운' 토큰의 sequence에 더 낮은 ppl이 부여됩니다. 이것이 토큰 단위가 아니라 문장 단위에서도 의미가 있을 것으로 가정하고,
가장 낮은 ppl을 출력하는 문장 순서가 가장 '자연스러운' 즉, 올바른 문장 순서일 것이라 생각했습니다.
fine-tuning 없이도 0.7 정도의 test acc가 나오는 것을 보고 이 방법이 옳다라고 느껴 확실하게 밀어붙였습니다.

대부분의 코드는 chatgpt와 함께 작성했습니다. 특히 QDoRA와 FLAML은 처음 써봤는데 chatgpt가 코드를 작성해준 덕에 빠르게 실험해볼 수 있었습니다.
확실히 이제는 코드를 작성하는 능력보다는 좋은 발상을 떠올리고 즉시 시도하는 능력이 중요해진 시대가 온 것 같습니다.

업로드한 코드는 3개 노트북을 이어 붙인거라 중복되는 부분도 많고 가독성이 좋지 않네요. 
아이디어만 봐주시면 감사하겠습니다.