Solving Glare on a Camera AI Competition

Algorithm | CV | Image convert | Control | PSNR

  • moneyIcon Prize : Total 1,000만원
  • 2021.06.28 ~ 2021.08.02 18:00 + Google Calendar
  • 1,297 Users Completed

 

빠른 이미지 자르기

2021.07.09 17:50 6,138 Views language

베이스라인의 이미지 분할해주는 코드를 최대한 빠르게 작동하도록 해봤습니다.
멀티프로세스를 이용하였습니다. 
numpy로 저장하게되면 png로 저장하는것보다 용량을 많이 차지합니다. 
png저장은 용량을 덜 먹습니다만, 저장하는 속도가 numpy보다 느립니다. 
구글 드라이브의 무료 용량을 사용하신다면 numpy저장은 15gb로는 부족하실 수 있습니다.

256 사이즈 256 stride 기준 
numpy : 약 18gb
png : 약 5.1gb (기존데이터와 비슷)

윈도우의 경우 실행시 무리가 간다면 max_worker 개수를 조정해주시면 되겠습니다.
colab 환경에서는 무리없이 동작하는것을 확인하였습니다.

첫 세 블록은 colab 환경에서 마운팅된 구글 drive에서 데이터를 불러와 압축을 푸는 작업입니다. 
필요하신대로 수정하셔서 작업하시면 되겠습니다.

Code
Login Required
0 / 1000
열심히할게요!
2021.07.10 22:12

감사합니다!
베이스 라인 따라하는데 이미지 분할에서 시간이 너무 걸려서 바꿔봤는데 금방되네요!

셀렌디스
2021.07.11 14:03

감사합니다! 안그래도 코랩 사용해야 할 것 같아서 보는 중에 저장 용량이 문제됐었어요 

셀렌디스
2021.07.15 12:53

그런데 이렇게 했을 경우 베이스라인의 모델을 돌리는 데에 문제가 생기네요

Redix6
2021.07.15 13:17

베이스라인을 돌리시기 위해서는 train과 val을 나눠주시고 
이미지를 로드하는부분을 numpy에서 png로드로 바꿔주시면 됩니다. 
이때 cv를 쓰면 rgb순서가 바뀌니 convert를 해주시거나 tf.image 또는 pil로 로드해주시면 됩니다. 

셀렌디스
2021.07.15 19:37

넵! 감사합니다

러신머닝
2021.07.16 13:52

구글드라이브에 저장속도가 너무느려서 바로 압축풀다보니 일부 손실이 되네요.. 충분히 오래 기다렸다가 해야할거같은데 
혹시 작성자분께서 하셨을때 png 파일이 몇개가 나오던가요?? ex) 1_train_input_100xx.png  파일이 50개가있는것도있고 2_train_input_100xx.png 파일이 70개가넘는것도있어서요 

Redix6
2021.07.16 13:58

파일 해상도(width, height)가 전부 동일하지 않습니다. 동일한 해상도일때 차이가 발생하나요?  

러신머닝
2021.07.16 14:20

label file 기준으로 작성자분이 공유해주신 코드로 cutting 된 이미지를 저장하는 코드를 실행했는데요 1시간전에 실행했는데 아직까지 구글드라이브에 추가되고있습니다 ㅠㅠ 

Redix6
2021.07.16 14:45

저장시 colab 의 구글 드라이브 마운트 환경이라면 속도의 차이는 거의 없을것으로 생각됩니다만, 
큰차이를 보인다면 colab의 로컬에 저장후 작업하시는걸 추천드립니다. 
여담으로 구글드라이브에는 가급적 zip또는 압축된 파일로 저장하시는걸 추천드립니다. 파일 개수가 많을경우 크롬에서 드라이브 파일 관리시 렉이 걸리거나 지우기 매우 곤란한 상황이 발생합니다. 

러신머닝
2021.07.16 15:03

음 제가 이해를 잘 못했는데요.구글드라이브 마운트환경맞고  일단 기본적으로 주어지는 train,label dataset 은 구글드라이브에 저장이 잘되어있습니다. 622개 씩 잘되어있고 
공유하신 코드 with con~ 부분을 실행하고 완료하면 해당 SAVE_PATH 에 저장된 이미지 개수가 같아야하는데 cutting 된 train,label이미지의 개수가 다르게 나옵니다.(똑같은 개수로 잘려야정상) 그래서 제가 구글드라이브에 직접들어가서 확인을해보니 완료후 새로고침을 눌러 갱신해보면  새로고침할때마다 파일 개수가 늘어납니다.(아직까지 계속 저장중인것같음)  , cutting 한 이미지 저장속도가 느려서 그런건지.. 작성자분은 해당 셀 완료하시면 모든파일이 저장이되어있나요??

Redix6
2021.07.16 16:04

코멘트를 썼는데 로그인하니까 다 날라가버렸네요.  간단하게 쓰겠습니다. 1. Train, label 같은개수로 저장됩니다. 2. 구글 드라이브 문제로 판단됩니다. 3. 코랩로컬에 저장후 압축하여 드라이브에 저장하시거나 그때그때 코랩 로컬에 cutting후 진행하는것을 추천합니다

Redix6
2021.07.16 16:04

Deleted Comment