처음에는 보통 많이 쓰는 기본값으로 시작해서 값을 조금씩 늘리거나 줄이면서 최적의 하이퍼파라미터를 찾아보는 방법도 괜찮을 것 같고, 많은 실험을 하는 데는 optuna 같은 튜닝 도구를 활용하면 좋아요!

눈누누난나 님께서 말씀해주신 optuna도 괜찮아요.
처음에 보면 뭔가 싶을정도로 복잡한데, 한번 만들어두면 하이퍼파라미터 수정만 하면 되서 편하더라고요.

아니면 automl 돌려보시고 최적의 하이퍼파라미터를 보고 왜 그렇게 나왔는지 생각해보신 후, 하이퍼파라미터를 조금씩 수정해서 돌려보시는 것도 좋은 것 같아요.