속도 개선

분자구조 이미지 SMILES 변환 AI 경진대회

속도 개선

팽삼

2020.09.16 18:57 5,778 조회

안녕하세요

이번 대회에 참여하면서 image captioning에 대하여 처음 접하는 사람입니다.

전체적인 속도 개선을 해보고 싶은데 인코더나 디코더 중에 한 곳을 개선한다고 하면

어떤 곳 먼제 손보는 것이 좋을까요??

댓글 5개

로그인이 필요합니다

comment

0 / 1000

bbchip13

2020.09.16 19:26

저도 지금 학습 속도 문제로 애먹고 있어서 정보 공유차 말씀 드립니다.
아직 베이스라인 코드 사용하는 단계구요.
하드를 네트워크 마운트 해서 사용중이라 inception feature를 하드에 저장하는게 전 더 느리더라구요...
그래서 인코더에다 넣어서 바로바로 뽑고 있습니다.
GPU 2개 기준으로 인코더는 gpu 0번에, 디코더는 gpu 1번에 넣어서 멀티 gpu도 시도해보았는데 gpu 하나 쓰는것보다 더 느리더라구요...
배치 사이즈 낮춰서라도 어떻게든 gpu 하나에 우겨넣고 쓰는 게 더 빠르더랍니다 하하...

포도당

2020.09.17 11:50

다른 문제지만... 혹시 GPU는 어떤것을 사용하셨나요??? 배치는 몇으로 돌리셨는지도 궁금합니다 ㅎㅎ
베이스라인코드는 배치 512로 되어있는데, 제가가진 2080super에서는 배치 64에서 겨우 돌아가네요 ㅠㅠ

bbchip13

2020.09.17 14:56

저도 64로 놓고 돌리고 있고, GPU는 2080Ti 쓰고 있습니다.
그 이상은 터지더라구요 ㅠㅠ 배치 더 높게 한다고 해서 학습이 더 잘 되는 것 같지도 않구...

김웅곤

2020.09.16 22:53

저 같은 경우는 디코더는 그대로 냅두고 인코더만 손을 보는 단계인데요
299*299 사이즈의 이미지가크다고 생각해서 이미지 사이즈를 resize 하여 줄이고
inception feature 사이즈가 batch_size * 8*8* 2048인데
이 피처 사이즈를 최대한 줄여서 지속적인 테스트를 수행하고 있습니다.