Obfuscated Korean Review Restoration AI Competition

데이콘 한글 리뷰 복원 AI 경진대회  
1. 주요 인사이트 및 경험  
   1.1 모델 선택  
   - 모델 성능 비교: Llama 3.1 8B보다 Llama 3.2 3B가 한국어 처리 능력이 더 우수했습니다.  
   - 특화 모델: 그 중 Blossom 파인튜닝 모델이 기본적으로 한국어 처리 능력이 뛰어났습니다.  
   1.2 학습 전략  
   - 데이터 증강: 모델 성능 향상에 확실한 효과적
     1) https://airbnbfy.hanmesoft.com 에서 N번 같은 문장을 반복해서 생성하는 방식을 사용했습니다.  
     2) 추가로 공백을 기준으로 문장을 나누고 문장 내에서 문자를 랜덤으로 바꾸는 방식을 사용했습니다.  
   - 전체 시퀀스가 아닌 응답 부분만 loss를 계산하고 훈련하는 방식이 더 좋은 성능을 보였습니다.  
   - 시스템 프롬프트를 정성스럽게 작성하는 것이 토큰 생성 방향을 잘 주는 것 같아 성능 향상에 도움이 되었습니다.  
   - CoT: 예시를 활용한 CoT 방식이 모델의 추론 능력을 향상시켰습니다.  
   1.3 추론 전략  
   - 생성 파라미터 최적화: 결정적 생성(do_sample=False)보다 약간의 자율성을 부여한 생성 방식(temperature=0.2, top_p=0.8)이 더 좋은 결과를 보였습니다.  
2. 기술적 측면  
   2.1 모델 양자화  
   - Llama 계열 모델은 양자화 모델이 아니더라도 로드할 때 load_in_4bit를 통해 대부분 양자화가 가능했습니다.  (전 bfloat16으로 로드해서 사용함, load_in_4bit가 더 빠르게 훈련되어서 좋을듯함)
   2.2 [실험] 4대의 GPU 활용을 위해 fsdp+axolotl 프레임워크를 사용했습니다.  결론은 unsloth 보다 느려 보류함
3. 아쉬웠던 점 
cross-entropy loss 외에 smooth f1 loss를 추가로 구성했으면 좀 더 올바른 학습이지 않았을까 합니다 ㅎㅎ