분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Layer Norm은 batch norm을 변형하여 입력 데이터의 평균과 분산을 이용해 학습의 수렴속도를 향상에 도움을 주는 효과를 가지고 있습니다. https://arxiv.org/pdf/1607.06450.pdf 관련 논문 첨부드려요.
그리고 Nh = Ns ... 이 수식은 https://stats.stackexchange.com/questions/181/how-to-choose-the-number-of-hidden-layers-and-nodes-in-a-feedforward-neural-netw 이 사이트 참고해주세요. 제가 검색한 키워드는 mlp number of hidden nodes 입니다.
하지만 실험 결과 저 공식이 항상 정답은 아닌 것 같습니다!
감사합니다.
수식부분은 처음 base로 잡을 때 한 번 써보려고 합니다.
layer norm 관련 논문 첨부까지 정말 감사합니다.
위의 코드에 LayerNorm class를 따로 만들어서 입력차원에 맞게 feature의 Normalization을 수행합니다. upblock4를 보시면 feature를 10000까지 늘렸기 때문에 이 feature에 대한 normalization을 사용하였습니다. (LayerNorm(10000)) 추가로 정보가 도움이 되셨길 바랍니다.
감사합니다. 많은 도움 되었습니다.
혹시 단일 모델 기준으로 어느정도 성능이 나오는지 알수 있을까요?
제한된 제출기회로 단일 모델 제출을 바로 해보지 않고 훈련시 validation loss를 보고 앙상블에 사용할 지를 결정해서 실제 가장 제출 결과를 모르지만, 몇번 제출한 기록을 보니 0.42가 제일 잘나왔습니다.
수고하셧습니다.
추가로 관심 있으신 분들을 위해 자료를 남깁니다~ https://kosohae.github.io/2020-02-06-dacon-competition/
잘 읽었습니다. 고생하셨습니다 !!!
자료 공유해주셔서 감사합니다.
감사합니다.
감사드립니다!
블로그에 몇몇 이미지들이 안보입니다!
많은 도움이 되었습니다 감사합니다 ^^
안녕하세요. 카피코딩하면서 공부하고 있는 중에 궁금증이 생겨 질문드립니다. 보통 배치정규화는 레이어를 지나 활성화 함수 전에 적용한다고 알고있는데, 해당 모델에서 활성화 함수 이후에 배치정규화를 적용해주신 이유가 따로 있으신가요??
메일 보내주신 내용 답변 드렸습니다^^
안녕하세요? 데이크루 4기 반박자팀입니다. 프로젝트 기반 학습자료를 제작하면서 본 코드를 링크하였습니다. 감사합니다.
https://dacon.io/competitions/official/236047/codeshare/7689
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
다른 토론창에서 모델의 복잡성을 증가시킨다고 했을 때 어떤식으로 한다는거지 ? 했는데 과정들을 보니까 정말 배울것이 많네요!!
UP-block, Down-block 그리고 skip connection 까지 제가 모르는 것 천지네요 ㅠㅠ
궁금한게LayerNorm(10000) 부분은 어떤 역할을 하는지 궁금합니다.
그리고 Nh = Ns/(a * (Ni + No)) 이렇게 node수를 설정하는 방법은 어떤 키워드로 검색해야 볼 수 있을까요 ?