학습은 어떤 환경에서 하시나요?

2023 교원그룹 AI OCR 챌린지

학습은 어떤 환경에서 하시나요?

칠승

2022.12.28 00:28 3,554 Views

이번 대회를 처음 참가해봤는데 다른분들은 어떤 환경에서 학습시키시나요?

저는 코랩에서 돌려보고 있는데 데이터 load하는 속도가 너무 느려서 걱정입니다..

Comments 10개

로그인이 필요합니다

comment

0 / 1000

andyDaco

2022.12.28 00:34

저도 처음참가하는데 코랩사용중입니다. google drive에 open.zip 저장한 후, colab위에서 unzip해서 data 꺼내는식으로 하는게 아마 가장 빠를겁니다.

칠승

2022.12.28 00:41

pytorch이용해서 dataloader로 불러오고 그냥 pass하면서 호출해봤는데 좀 오래 걸리는거 같습니다..

andyDaco

2022.12.28 00:52

런타임 유형 gpu로 해도 느리나요? 전 baseline 코드 학습하는데 약 30분 걸리는 것 같습니다.

Redix6

2022.12.28 15:50

drive I/O cost가 꽤 커서 andyDaco님이 말씀하신 것 처럼 colab runtime의 임시 저장공간 위에서 데이터를 풀고 작업하시는 것이 빠릅니다.
그 이외에 문제가 있다면, dataset에서 data를 가져오는데 발생하는 cost, dataloader의 num_workers 설정에 따라 발생하는 문제 등이 있습니다.

교교교

2022.12.28 17:01

임시 저장공간에 데이터 푸는 거 아래 처럼하면 안되는 거예요???

아래 두줄 돌려서 하려고 하는데, 너무 오래걸려요 ㅠㅠ

from google.colab import files
uploaded = files.upload()

https://yeko90.tistory.com/entry/파이썬-colab코랩에서-압축파일-풀기

Redix6

2022.12.28 17:15

데이터 구글 드라이브에 업로드 -> 구글 드라이브 연결 후
해당경로를 아래와 같이 unzip 명령어로 풀면
!unzip "/content/drive/MyDrive/data/open.zip"
기본 경로에 풀릴 겁니다.

environmentanalyst01

2022.12.28 21:58

감사합니다!!

칠승

2022.12.28 23:19

혹시 일부만 저장되는 이유 아시나요?? unzip으로 풀고 드라이브 확인해보니 test만 있더라구요 근데 또 런타임 상에서는 잘 돌아가구요..

Redix6

2022.12.28 23:33

목록 위쪽에 새로고침 버튼 한번 눌러보시고, 그래도 확인이 안된다면 저도 잘 모르겠네요.