랜드마크 분류 AI 경진대회

알고리즘 | 이미지 | 분류 | 상권 | GAP

상금 : 1,500만원
678명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

(20.10.25 속도비교 벤치마크 추가) TFRecord 생성 및 비교 예제

bbchip13

2020.10.24 01:39 10,506 조회 language

저는 주로 코랩 환경에서 작업을 하는데, 코랩이 유난히 파일 I/O가 느린 경향이 있습니다.
그래서 데이터를 TFRecord 형태로 바꾼 후 학습을 할 때 학습 속도가 꽤나 빨라지는 것을 느낄 수 있었습니다.
혹시라도 파일 입출력 때문에 불편하신 분들에게 도움이 될까 싶어서 공유합니다~
도움이 되셨다면 추천 한 번씩만 부탁드려요!~

코드

댓글 4개

로그인이 필요합니다

comment

0 / 1000

Mather

2020.10.24 09:25

감사합니다.

delluna

2020.10.24 18:03

안녕하세요 우선 좋은 자료 감사드립니다.
이번 대회를 통해 처음 코랩을 사용해보는데요, TFRecord로 파일 변환한 것과 그렇지 않은 것의 차이가 심한 편인가요?
마운트된 구글 드라이브의 zip파일을 코랩 내부의 다른 폴더로 옮긴 뒤 unzip해서 사용하는 것과 속도 차이가 있을까요?
관련 자료로 찾아보려고 해도 제 부족한 검색 실력 때문인지 잘 나오질 않네요 ㅜㅜ

bbchip13

2020.10.25 23:01

댓글 감사합니다. 본문에 비교를 위한 벤치마크를 추가하였습니다.
실험 결과 일반적으로는 TFRecord가 빠르나, tf.data의 부가 기능을 이용하면 코랩 상에서 그 차이를 충분히 극복할 수 있는 것으로 보입니다.
도움 되셨으면 좋겠습니다!

delluna

2020.10.26 12:45

벤치마크까지 남겨주시다니 시간 내어주셔서 정말 감사합니다 :D

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!