실제 LLM 일반 사용자들에게도 GPU OOM(out of memory) 문제가 꽤 큰 이슈라서 실제 입상권이나 상위권 분들은 이를 어떻게 해결하실지 궁금하네요

특이한 점은 입상권 채점은 A100 2대의 멀티GPU로 측정한다는 점이네요

그래도 한국어 데이터로 사전학습된 모델이 많지 않아서, 어마어마하게 큰 모델을 돌리진 않을 거 같네요...

맞습니다 사실상 vram 160gb를 다 쓸 만큼 돌릴 정도의 한국어용 모델이... 하지만 그렇다고 일반 사용자분들에게도 조금 허들이 느껴지긴 하지만 llm 자체가 어쩔수 없는 것같아요 현재 ko-llama2--7b만해도 요구되는 vram이 제 환경에선 23gb가 요구되더라고요 제 기억에 코랩의 경우 a100을 제외하곤 아마 23gb를 제공하지 않은 걸로 기억하고, 로컬 llm을 구축하려 해도 24gb 램이 현재 rtx3090이나 4090 정도 밖에 없는데... 

이러면 적절히 모델을 타협하거나, 아니면 vram을 확보해서 성능을 확보하는 방안이 있긴한데, 어떻게 될지 궁금하네요. vram이 적게 필요한 모델도 프롬프트나 train set을 적절히 가공해서 오히려 vram을 높은 모델을 이길 수 있을지... 아니면 그럼에도 결국 vram 높게 요구하는 모델이 이길지...

또한 자체 validation도 다른 딥러닝이랑 머신러닝 대회와 좀 다른 측면이 있어서 어떻게 구축할 지도 궁금하네요 특히 llm에선 오버언더피팅 문제는 사실 잘 평가가 되지 않고, 보통은 성능이 좋으면 데이터오염 측면을 보통 지적하는 경우가 많으니까요

여러모로 좋은 인사이트들이 나오길 기대하고, 또한 저를 포함한 일반 사용자분들에게도 좋은 대회가 될 거라 생각합니다. 

kaggle에서 열리는 LLM 대회에서도 수상권에 들어간 팀들은 보통 엄청 큰 llama2나 다른 초거대 모델로 학습해서 결과를 내더라구요...
아마도 이 대회에서도 GPU 리소스를 충분히 가지고 있는 참가자들이 높은 순위를 달성할 수 있을 것 같습니다.