월간 데이콘 운동 동작 분류 AI 경진대회

Transformer를 활용한 Classification

2021.02.05 12:09 6,686 조회

안녕하세요. DACON.Dobby입니다.


제가 본 대회에 참고한 코드 공유 드립니다.


https://www.tensorflow.org/tutorials/text/transformer


텐서플로 공식 문서 튜토리얼에 소개 되어있는 트랜스포머를 수정하였습니다.


데이터 증강은 코드 공유에 드린 random shift만을 활용하였고 교차검증과 TTA를 적용해 과적합을 줄였습니다.


간단한 cnn을 구성(conv-pooling-conv-pooling...)하여 추출한 피쳐를 트랜스포머의 인코더 인풋으로 활용하여 분류를 하였습니다.


저는 트랜스포머 코드를 수정하였지만 간단한 cnn에 어텐션 적용만으로도 높은 성능이 나올 것이라 추측 됩니다.


대회가 절반정도 진행되었는데 참가자분들 모두 마지막까지 최선을 다해주시기 바랍니다.


감사합니다.

로그인이 필요합니다
0 / 1000
당쇠
2021.02.05 17:40

도비님 아이디어 감사합니다.

행배AI
2021.02.07 17:52

감사합니다!

영웅
2021.10.05 15:33

여쭤보고싶은게 있습니다!
data set을 구축 할 때에 마지막에 1차원을 추가한 것은 왜 그런지 알 수 있을까요?? (3125, 6, 600 ,1(??))
자연어처리에 해당하는 모델을 시계열 데이터에 적용하는 거라 어떤 축이 어디에 매핑되어야 하는지 헷갈리네요 ㅎㅎ...ㅠㅠ