삭제된 댓글입니다

기본적으로 하는 게 좋지 않을까요?

딥러닝 모델은 데이터 스케일에 영향을 많이 받으니까요. 만약  값의 범위가 0~100의 값을 갖는 특징이 있다면 최초의 학습시에 100을 갖는 데이터가 모델의 가중치 행렬에 가장 많이 영향을 끼치니까요. 하지만 우리는 이러한 점이 옳지 않다는 것을 이미 알고 있죠. 이러한 영향을 최소화 하기 위해서 데이터 스케일 조정이 필요한 것 같습니다.
------
다만, Attention 변형 모델이나 Transformer 모델 같은 경우는 저 또한 "데이터 스케일 조정이 필요한가?"라고 의문이 드네요. 왜냐하면 Attention 기반의 모델이나 Transformer 모델 같은 경우는 Attention 계산과 FFNN 에서 추가적인 Residual Connection과 Normalization(이것에 의해서)을 해주기 때문에 위에서 말한 문제점을 모델 자체적으로 해결하고 있으니까요. 

삭제된 댓글입니다