금융 문자 분석 경진대회

1. 평가

A. 공개 랭킹 (Public Score) : 대회 중 제공되는 public_test 데이터로 채점합니다.

B. 최종 랭킹 (Private Score) : 리더보드 종료 이후, public ranking이 높은 상위 20팀을 추가 채점합니다.

Public Score 랭킹이 높은 상위 참가자 20팀은 1월 20일 23:59분까지 dacon@dacon.io로 정해진 코드 양식에 맞는 코드,

내용을 설명하는 간단한 PPT, private_test_data 평가용 학습 model file을 제출합니다.

(해당 Public Score의 점수와 동일한 결과가 나오는 코드가 아니어도 되지만 public score와 점수 차이가 과도하게 나는 경우는 없어야 합니다.)

코드 양식은 아래 다운로드 버튼을 통해 다운받으실 수 있습니다.

코드 양식 다운로드

(제출 양식 예시 파일에 작성된 코드는 양식 작성의 이해를 돕기위한 것으로 해당 코드에 대한 질문은 받지 않습니다.)

- 1월 20일까지 정해진 코드 양식에 맞는 코드파일을 제출한 상위 참가자 팀들을 대상으로

  dacon에서 내부 평가를 수행하여 다음의 평가 기준을 바탕으로 종합 최종 랭킹을 공개합니다.

평가 기준 / 평가 비율

private_test data를 통해 나타나는 auc score 순위 / 70%

Inference time (스미싱 문자 예측에 걸리는 시간) 순위 / 30% 

(순위 동점자 발생시 Private score 순위가 더 상위권인 참가자가 더 높은 순위로 기록됨)

2020.01.17 - 낮은 점수 순으로 더 높은 순위가 기록됩니다. 즉, 가장 낮은 점수를 받은 팀이 1등이 됩니다.

ex)

A팀 : auc score 순위 10위, Inference time 순위 1등 -> 10 * 0.7 + 1 * 0.3 -> 7.3점

B팀 : auc score 순위 7위,  Inference time 순위 8등 -> 7 * 0.7 + 8 * 0.3 -> 7.3점

auc score 순위가 더 높은 B팀이 더 높은 등수로 기록

2. 대회 규칙

A. 코드 관련

1) 입상자는 코드 제출 필수. 제출 코드는 예측 결과를 리더보드 점수로 복원할 수 있어야 함

2) 코드 제출시 확장자가 R user는 R or .rmd. Python user는 .py or .ipynb

3) 코드에 ‘/data’ 데이터 입/출력 경로 포함 제출

4) 전체 프로세스를 일목요연하게 정리하여 주석을 포함하여 하나의 파일로 제출

5) 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함되어야 함).

6) 코드와 주석의 인코딩은 모두 UTF-8을 사용하여야 함 

B. 외부 데이터 관련

1) 외부 공공 데이터 사용이 가능하나, 코드 제출 시 함께 제출

2) 공공 데이터 외의 외부 데이터는 법적인 제약이 없는 경우에만 사용 가능

3) 외부 데이터를 크롤링할 경우, 크롤링 코드도 함께 제출

C. pre-training 관련

1) 기존에 공개된 nlp 관련 pre-training model의 경우,

  ULMFiT, Transformer Google’s BERT, Transformer-XL, OpenAI’s GPT-2, ELMo, Flair, StanfordNLP 등의 nlp 관련 pre-training 모델이 허용됨을 알려드립니다.

2) pre-training 모델을 사용하시려는 경우,

  pre-training 모델의 원본이 있는 사이트의 링크, pre-training 모델이 공개적으로 사용이 가능한지의 여부, pre-training 모델을 사용한 이력이

 코드 파일 제출 양식에 반드시 포함이 되어 있어야 합니다. 

※ 가급적이면, 팀 신청 이외의 데이터 관련 사항은 댓글로 부탁드리며, 기타적인 문의 사항만 dacon@dacon.io로 보내주시기 바랍니다.

  데이터 관련 사항을 댓글로 부탁드리는 이유는 모든 참가자분들이 해당 글을 읽으면서 사실을 공유하기 위함이기 때문에, 메일로는 오는 데이터 관련 질문은 답변 드리지 않습니다.