최근에 kaggle에서 LLM fine-tuning하는 대회가 있었는데요. kaggle하시는 분들도

1. 개인 컴퓨팅 자원을 활용
2. vast.ai같은 사이트에서 GPU자원을 대여

대부분 이 방식을 사용했습니다. LLM대회의 경우 자원의 한계는 어쩔 수 없는 것 같습니다. discussion보면 1000달러(한화 약 130만원)이상 쓰신 분들도 많이 있었습니다.. 
추가로 colab pro+는 별로 좋지 않으니까 GPU대여 사이트를 사용하는게 좋다고 하네요.

일단 양자화 해보고, 안되면 gpu 클라우드 대여해서 쓰고 있습니다.
이게 어쩔 수 없습니다. LLM은 진짜 고용량이라서..

다른 ML, DL 대회와 달리 LLM 대회가 유독 GPU 성능과 모델 성능이 너무 직접적으로 비례해서 대회 자체(꼭 이번 대회뿐만아니라 LLM 대회 자체)가 사실 조금 회의가 느껴지긴 합니다

아무리 파인튜닝 잘하고 전처리 잘해도, 쓰는 GPU가 고작 CUDA 최소한 가능한 3050 GPU (제 노트북 사양이기도 합니다 ㅠㅠ) 라면  A100으로 큰 전략없이 돌린 코드를 이기긴 쉽지 않습니다

실제로 서빙하는 관점에서도, 특히 이건 기재부 대회니까 대국민에게 서빙한다는 걸 전제로 할탠데, 글쎄요  아마 현재 상위권 하신분들도 3090만 쓰신 분들은 없을것같고 최소 4090이나 클라우딩 GPU이나 서버 GPU, 코랩등을 사용하고 계실겁니다   정말 대국민 상대로 동일한 서빙이 가능할까요? 가능하다하더라도, 그 비용들을 감당할 수 있을까요?(혹은 감당 가능하더라도 비용편익적일까요?) 물론, 공직 내에서 (가령 온나라 내에서) 공무원이 직접 사용하는 걸 가정한다면 모르겠습니다. 

LLM 대회들이 시작된지 얼마 안되어서 이런 문제가 좀 보이는 듯한데, 결국엔 모델을 아예 고정해놓고(혹은 사용 모델 맥시멈 VRAM을 고정해놓고) Prompt 엔지니어링이나 RAG 등 다른 방법들에서 차이를 둬서 실력을 겨루는 것도... 방법일 거란 생각이 듭니다. 

안타까운 말이긴 한데 빈익빈 부익부 느낌도 납니다 LLM 대회자체가... 물론, 실제 2차평가 들어가면 그 중에서는 적은 리소스를 사용한게 더 가점을 받겠지만, 최소한 2차평가를 받으려면 좋은 GPU를 써야하는 것 같네요