AI 기반 회의 녹취록 요약 경진대회

알고리즘 | NLP | 생성요약 | 자연어 | ROUGE-N

  • moneyIcon Prize : 총 1,000만원
  • 1,034명 마감
Closed

 

colab에서 베이스라인 돌리면 메모리가 부족하시나요?

2021.10.01 14:05 13,263 Views

안녕하세요.

대회 규칙 상 코드는 colab 무료 환경에서 동작해야하기 때문에 colab에서 작업을 하고 있습니다.

코드 공유란에 있는 베이스라인부터 돌리시는 분들이 계실텐데

그냥 실행시키면 십중 팔구 메모리가 부족하실 겁니다.


colab에서 기본으로 주어지는 RAM 용량은 약 12.7 GB입니다. 물론 적지 않은 양이지만 베이스라인을 돌리기에는 벅찹니다.

colab pro나 pro+를 가지고 계신분은 괜찮겠지만, 저같은 무료 이용자들은 결제하기 부담스럽습니다. 😂


따라서 코드 내에 굳이 필요하지 않은 메모리 할당을 줄여봅시다.

베이스라인 내에 있는 아래 코드들을 주석 처리하시면 됩니다.

메모리를 잡아먹는 다른 변수들이 더 있지만, 위 변수들이 메모리를 크게 잡아먹고 있습니다.

베이스라인 작성자분께서 일종의 테스트를 위해 남겨놓은 코드들 입니다. RAM을 아끼고 싶다면 지우셔도 좋습니다.


이번 대회 베이스라인은 제가 이해하기에 조금 수준이 높네요 ㅠㅠ 차근차근 해봐야겠습니다.

그럼 다들 화이팅입니다! 😁

로그인이 필요합니다
0 / 1000
띠로리
2021.10.01 14:23

좋은 정보 알려주셔서 감사합니다. 저도 이것때문에 계속 고민중이었네오

실명전사김동혁
2021.10.01 16:31

도움이 되서 다행입니다 ㅎㅎ

세포봇
2021.10.01 15:42

규칙 : 제출한 모델은 Google Colab 무료 환경 (GPU:K80 / 메모리 12GB)에서 추론이 가능해야 함
대회 규칙보면 추론만 돌아가면되면 학습은 좀더 좋은 환경에서 하고 학습모델만 코랩으로 옮겨서 추론해도 되는거 아닌가요?

실명전사김동혁
2021.10.01 16:31

그것도 좋은 방법이네요! 아마 관계자님이 답변해주실 것 같습니다

AI라라
2021.10.01 21:22

저도 매우 궁금하네요!! 관계자님 답변 부탁드립니다!!

실명전사김동혁
2021.10.03 20:04

노력하는돌님 말대로 이미 대회 규칙에 저렇게 명시되어있고
사전 학습 모델 사용이 가능하니 맞는 말인 것 같네요 ㅎ.ㅎ

AI라라
2021.10.01 21:22

좋은 정보 공유 감사드립니다.