다음과 같이 정리해볼 수 있을 거 같습니다. 

1. Manual Search : 말그대로 A-Z까지 하나하나 넣어보면서 최적의 결과를 찾는 방법입니다. 하지만 이는 시간이 오래걸리기 때문에 일차적으로만 수행해보는 방법입니다. 

2. Grid Search : Manual Search보다 살짝 머리를 써서 하는 방법이기는 한데... 큰 차이점은 없습니다. 하이퍼파라미터를 튜닝해야하는 값들을 하나하나 넣어보면서 최적화된 결과를 찾는 방법입니다.

3. Bayesian Optimization : 베이지안 기반으로 가장 성능이 높을만한 영역을 중심으로 검색 영역을 줄여나갑니다. 개인적으로 해당 방법을 가장 많이 사용하는 편입니다. 

4. AutoAugment : 데이터 증강 방법론 중 강화학습을 도입하여 어떤 데이터 증강을 사용할지, 얼마만큼의 확률 (probability)로 사용할지, 얼마만큼 변화 (magnitude)시킬지를 학습하게 됩니다. 

3번 방법은 제가 옛날에 다른 코드를 보고 설명해놓은 자료가 있으니 공유해드리겠습니다. 
https://everyday-image-processing.tistory.com/113