BERT 모델로 위험도를 예측해보자

로그 분석을 통한 보안 위험도 예측 AI 경진대회

BERT 모델로 위험도를 예측해보자

2021.04.22 10:47 5,695 조회 language

안녕하세요. 데이콘을 접하고 처음해보는 자연어 대회이네요.
BERT는 구글에서 개발한 자연어처리 사전 훈련 기술이라서 모든 자연어 처리 분야에서 좋은 성능을 내고 있습니다. 그래서 한번 구현해보았는데 코드가 돌아가는 시간만 무려 13시간 정도...? 걸리더라구요 (epochs를 1밖에 주지 않았는데도요...)
많은 시간을 쏟았지만 결과는 참담했습니다... ㅎㅎ 그래도 자연어 공부하는데 도움이 많이 되는 대회라고 생각하고 열심히 만들어보았습니다.
혹시 코드에 오류가 많으면 댓글로 얘기해주세요. 피드백 너무 좋아요.. ㅎㅎ

코드

댓글 6개

로그인이 필요합니다

comment

0 / 1000

최정명

2021.04.22 14:27

코드공유 감사합니다.

데이터는 해당 대회 데이터를 사용하신게 맞나요 ?

datu

2021.04.27 21:57

네 사용했습니다.. 자연어 처리 대회는 처음이라 실수가 많은것 같습니다. 수정해보겠습니다

10duck

2021.04.23 03:19

build model 함수의 output부분에 문제가 있는것 같아요.
sigmoid와 output 차원이 1인경우는 binary classification 학습에 사용하기 때문에 학습이 안된것같습니다.

datu

2021.04.27 21:58

조언 감사합니다. 많이 배워갑니다!

우왕여긴어디일까요

2021.04.27 20:27

분류 클래스 1, 2, 3, 4, 5로 할때는 sparse_category_crossentropy loss function을 사용하고
1-hot encoding인 경우에는 category_crossentropy 손실함수를 사용합니다.
0, 1 이진 분류에는 sigmoid를 보통 사용합니다.
위 코드에서 학습이 안된거는 sigmoid여서 loss 계산이 안된거 같습니다.

datu

2021.04.27 21:58

조언 감사합니다! 수정해서 올리도록 하겠습니다!

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!