colab으로 진행하시고 있으신분 계신가요???

포디블록 구조 추출 AI 경진대회

다냐니라

2023.01.22 20:12 6,272 조회

gpu가 없어서 colab pro gpu를 사용하려는데, baseline 1에폭에 4시간 걸리는게 맞나요....?

gpu는 분명 사용하는걸로 보이는데, 이렇게 오래 걸리시나요??

예상하기로는.. 이미지를 가져오는 속도(드라이브에서)가 느린것 같은데.. 다른 분들은 어떠신가요??

댓글 10개

로그인이 필요합니다

comment

0 / 1000

cute_newbiew

2023.01.22 20:19

저도 efficientnet_b4로 1epoch 4시간 넘게 걸립니다. 다음 epoch부터는 조금 줄어듭니다...

다냐니라

2023.01.22 20:22

음.. 그렇군요.. 2080ti로 돌릴때는 4~8분? 이 사이에 1epoch 끝났는데, 코랩으로 하려니... 시간차가 많이나서 ... 코랩으로 하기에는 무리가 있겠네요..

다냐니라

2023.01.22 22:39

해결법 공유합니다.

google drive에서 이미지를 읽으면 위와같이 4시간 넘게 걸리는 상황이 발생합니다.
/content 폴더에 데이콘에서 제공해준 zip파일을 카피한 후 /content에다 압축을 풀어주고, /content/train에서 사진을 읽어오면 4시간 > 14분 정도로 시간이 준것을 눈으로 볼 수 있었습니다. 참고하세요!

cute_newbiew

2023.01.23 00:07

오오..정말 빠르네요. 감사합니다.

이세의인공지능

2023.01.23 20:46

저장된 메모리 구조 때문인걸까요..?
대단한 팁이네요!

다냐니라

2023.01.24 02:55

아마.. 예상하기로는.. 할당받은 세션은 다이렉트로 연결되있는 반면, google drive는 클라우드 서버를 한번 거쳐서 이미지를 가져와서 그렇지 않을까 예상해봅니다. 일례로, google drive에 zip파일을 풀게되면 바로 이미지 파일들이 생기지 않고 어느정도 시간이 지나야 이미지가 모두 들어가는 상황을 볼 수 있는데, 할당받은 세션(/content)에 바로 zip을 풀면, 개인 데스크톱에서 zip파일을 풀듯, 바로 이미지 파일이 생기는걸 볼 수 있더라구요.

정확히 설명해주실분 필요해요!!

PangPangya

2023.01.25 09:57

제 생각에는 구글 드라이브에서 파일을 가져올 때 파일마다 인증 과정을 포함하여 새로 연결이 되는 방식으로 동작하는 것 같습니다.
다수의 파일을 가져오면 중간에 에러 발생하는 경우도 발생하고 속도도 느려서 구글 드라이브 사용 시에는 압축하여 소수의 파일로 사용해야 합니다.