1. 리더 보드

평가 산식

※ S-Bert Cosine 유사도는 예측(생성) 문장과 정답 문장간의 의미론적 유사성을 측정합니다.

※ S-Bert Cosine 유사도에 활용되는 정답(GT)의 Embedding Vector는 ‘jhgan/ko-sbert-sts’ 모델을 통해 추출되었습니다.

※ Jaccard 유사도는 예측(생성) 문장과 정답 문장에서 사용된 단어들의 집합을 비교하여 어휘적 유사성을 측정합니다.

※ S-Bert Cosine 유사도에 활용되는 Embedding Vector는 반드시 Jaccard 유사도에 활용되는 Text이어야 합니다.

def cosine_similarity(a, b):
    """코사인 유사도 계산"""
    dot_product = np.dot(a, b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b) if norm_a != 0 and norm_b != 0 else 0


def jaccard_similarity(text1, text2):
    """자카드 유사도 계산"""
    set1, set2 = set(text1.split()), set(text2.split())  # 단어 집합 생성
    intersection = len(set1.intersection(set2))  # 교집합 크기
    union = len(set1.union(set2))  # 합집합 크기
    return intersection / union if union != 0 else 0

Public score : 전체 테스트 데이터 샘플 중 사전 샘플링된 50%
Private score : 전체 테스트 데이터 샘플 100%

2. 평가 방식

1차 평가 : 리더보드 Private Score
2차 평가 : 2차 평가 희망팀 코드 및 PPT 제출 후 코드 검증 및 2차 평가 진행
2차 평가는 정량 평가(20%)와 내부 평가(80%)로 이루어집니다.
2차 평가 기준

※ Private 리더보드 환산 점수는 순위 별 차등 점수가 아닌 2차 평가자 중 최고점수를 만점(20)으로 하여 이후 비율로 환산됩니다.

※ 내부 평가의 평가 질의 데이터 샘플 번호(ID)는 참가자에게 공개되지 않으며, 결과 품질을 심사위원이 직접 '정성 평가'합니다.

※ 내부 평가의 추론 리소스 평가는 Pass / Non-Pass 방식으로 진행되며, Pass의 경우 만점(5점)이며 Non-Pass의 경우 최하점(0점)이 부여됩니다.

※ 내부 평가의 추론 리소스 평가에 기준이 되는 컴퓨팅 리소스는 A100-80GB X 2대 (Total VRAM 160GB) 이며, 해당 리소스 범위 내에서 모델이 동작할 수 있어야합니다.

3. 개인 또는 팀 참여 규칙

개인 또는 팀을 이루어 참여할 수 있습니다.
개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
팀 최대 인원: 5 명
동일인이 개인 또는 복수팀에 중복하여 등록 불가

4. API, 외부 데이터 및 사전 학습 모델

사전 학습 모델/API 사용 가능 범위
사용에 법적 제약이 없으며, 오픈소스 라이선스로 제공되고 가중치가 공개된 사전 학습 모델 사용 가능
원격 서버를 통해서만 접근 가능한 API 형태의 모델(OpenAI API, Gemini API 등) 사용 불가능
외부 데이터 사용 금지
대회 제공 데이터만 사용 가능
단, 제공 학습 데이터를 바탕으로 사전 학습 모델/API 사용 범위를 충족하는 내에서 데이터 증강/생성은 가능

5. 코드 및 PPT 제출 규칙

대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io 메일로 기한 내에 제출
제출한 코드는 Private Score 복원이 가능해야 함

o 코드에 데이터 입/출력 상대 경로 포함

o 코드 파일 확장자: .py, .ipynb

o 코드와 주석 인코딩: UTF-8

o 모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o 개발 환경(OS) 및 라이브러리 버전 기재

제출 파일 목록

o Private Score 복원이 가능한 전처리, 학습, 추론 코드 파일 (필수)

o Private Score 복원이 가능한 모델 weight 파일 (필수)

o 서면 평가 PPT 자료 (필수)

-> 2차 평가 기준(2. 평가 방식 -> 2차 평가 기준)에 맞춰 자유 양식으로 작성

6. 유의 사항

1일 최대 제출 횟수: 5 회
사용 가능 언어: Python
모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외 (평가 데이터셋의 Pseudo Labeling 포함)
모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
정상적인 코드의 범주 : 반드시 제공 데이터로부터 언어 모델 학습 또는 RAG의 과정이 존재해야하며, 이러한 언어 모델을 바탕으로 추론(생성)이 이루어져야합니다.
최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 1개를 선택해야 함
대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

7. 토론(질문)

대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?

Construction Accident Prevention and Response Generation: Hansol Deco Season 3 Generative AI Competition

Algorithm | NLP | Generate AI | LLM | MLOps | Similarity