월간 데이콘 반도체 박막 두께 분석 경진대회

알고리즘 | 정형 | 회귀 | 산업 | MAE

  • moneyIcon 상금 : 83만원
  • 1,601명 마감

 

[1등][Context_KKP] Skipconnection MLP with Ensemble

2020.02.04 22:43 12,790 조회 language

.

코드
로그인이 필요합니다
0 / 1000
최정명
2020.02.07 02:34

다른 토론창에서 모델의 복잡성을 증가시킨다고 했을 때 어떤식으로 한다는거지 ? 했는데 과정들을 보니까 정말 배울것이 많네요!!
UP-block, Down-block 그리고 skip connection 까지 제가 모르는 것 천지네요 ㅠㅠ 

궁금한게LayerNorm(10000) 부분은 어떤 역할을 하는지 궁금합니다.
그리고 Nh = Ns/(a * (Ni + No)) 이렇게 node수를 설정하는 방법은 어떤 키워드로 검색해야 볼 수 있을까요 ? 

JunhwaKim
2020.02.07 03:06

Layer Norm은 batch norm을 변형하여 입력 데이터의 평균과 분산을 이용해 학습의 수렴속도를 향상에 도움을 주는 효과를 가지고 있습니다. https://arxiv.org/pdf/1607.06450.pdf 관련 논문 첨부드려요.

JunhwaKim
2020.02.07 03:06


그리고 Nh = Ns ...  이 수식은 https://stats.stackexchange.com/questions/181/how-to-choose-the-number-of-hidden-layers-and-nodes-in-a-feedforward-neural-netw  이 사이트 참고해주세요. 제가 검색한 키워드는 mlp number of hidden nodes 입니다.

JunhwaKim
2020.02.07 03:07

하지만 실험 결과 저 공식이 항상 정답은 아닌 것 같습니다!

최정명
2020.02.07 10:54

감사합니다.
수식부분은 처음 base로 잡을 때 한 번 써보려고 합니다.
layer norm 관련 논문 첨부까지 정말 감사합니다.

Cardy
2020.02.09 20:10

위의 코드에 LayerNorm class를 따로 만들어서 입력차원에 맞게 feature의 Normalization을 수행합니다. upblock4를 보시면 feature를 10000까지 늘렸기 때문에 이 feature에 대한 normalization을 사용하였습니다. (LayerNorm(10000)) 추가로 정보가 도움이 되셨길 바랍니다.

최정명
2020.02.10 16:22

감사합니다. 많은 도움 되었습니다.

1Gb
2020.02.07 16:14

혹시 단일 모델 기준으로 어느정도 성능이 나오는지 알수 있을까요?

JunhwaKim
2020.02.07 19:41

제한된 제출기회로 단일 모델 제출을 바로 해보지 않고 훈련시 validation loss를 보고 앙상블에 사용할 지를 결정해서 실제 가장 제출 결과를 모르지만, 몇번 제출한 기록을 보니 0.42가 제일 잘나왔습니다.

당쇠
2020.02.07 23:11

수고하셧습니다.

Cardy
2020.02.09 20:22

추가로 관심 있으신 분들을 위해 자료를 남깁니다~ https://kosohae.github.io/2020-02-06-dacon-competition/

최정명
2020.02.10 16:18

잘 읽었습니다. 고생하셨습니다 !!!
자료 공유해주셔서 감사합니다.

당쇠
2020.04.07 23:14

감사합니다.

종버버버
2022.04.22 17:15

감사드립니다!
블로그에 몇몇 이미지들이 안보입니다!

죠르디
2020.02.17 22:51

많은 도움이 되었습니다 감사합니다 ^^

우기
2022.04.18 18:05

안녕하세요. 카피코딩하면서 공부하고 있는 중에 궁금증이 생겨 질문드립니다. 보통 배치정규화는 레이어를 지나 활성화 함수 전에 적용한다고 알고있는데, 해당 모델에서 활성화 함수 이후에 배치정규화를 적용해주신 이유가 따로 있으신가요??

JunhwaKim
2022.04.22 11:19

메일 보내주신 내용 답변 드렸습니다^^

Saturday.K
2023.02.24 01:42

안녕하세요? 데이크루 4기 반박자팀입니다. 프로젝트 기반 학습자료를 제작하면서 본 코드를 링크하였습니다. 감사합니다.

https://dacon.io/competitions/official/236047/codeshare/7689