건설공사 사고 예방 및 대응책 생성 : 한솔데코 시즌3 AI 경진대회

1. 리더 보드

• 평가 산식

※ S-Bert Cosine 유사도는 예측(생성) 문장과 정답 문장간의 의미론적 유사성을 측정합니다.

※ S-Bert Cosine 유사도에 활용되는 정답(GT)의 Embedding Vector는 ‘jhgan/ko-sbert-sts’ 모델을 통해 추출되었습니다.

※ Jaccard 유사도는 예측(생성) 문장과 정답 문장에서 사용된 단어들의 집합을 비교하여 어휘적 유사성을 측정합니다.

※ S-Bert Cosine 유사도에 활용되는 Embedding Vector는 반드시 Jaccard 유사도에 활용되는 Text이어야 합니다.

def cosine_similarity(a, b):
    """코사인 유사도 계산"""
    dot_product = np.dot(a, b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b) if norm_a != 0 and norm_b != 0 else 0


def jaccard_similarity(text1, text2):
    """자카드 유사도 계산"""
    set1, set2 = set(text1.split()), set(text2.split())  # 단어 집합 생성
    intersection = len(set1.intersection(set2))  # 교집합 크기
    union = len(set1.union(set2))  # 합집합 크기
    return intersection / union if union != 0 else 0

• Public score : 전체 테스트 데이터 샘플 중 사전 샘플링된 50%
• Private score : 전체 테스트 데이터 샘플 100%

2. 평가 방식

• 1차 평가 : 리더보드 Private Score
• 2차 평가 : 2차 평가 희망팀 코드 및 PPT 제출 후 코드 검증 및 2차 평가 진행
• 2차 평가는 정량 평가(20%)와 내부 평가(80%)로 이루어집니다.
• 2차 평가 기준

※ Private 리더보드 환산 점수는 순위 별 차등 점수가 아닌 2차 평가자 중 최고점수를 만점(20)으로 하여 이후 비율로 환산됩니다.

※ 내부 평가의 평가 질의 데이터 샘플 번호(ID)는 참가자에게 공개되지 않으며, 결과 품질을 심사위원이 직접 '정성 평가'합니다.

※ 내부 평가의 추론 리소스 평가는 Pass / Non-Pass 방식으로 진행되며, Pass의 경우 만점(5점)이며 Non-Pass의 경우 최하점(0점)이 부여됩니다.

※ 내부 평가의 추론 리소스 평가에 기준이 되는 컴퓨팅 리소스는 A100-80GB X 2대 (Total VRAM 160GB) 이며, 해당 리소스 범위 내에서 모델이 동작할 수 있어야합니다. 

3. 개인 또는 팀 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
• 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 5 명
• 동일인이 개인 또는 복수팀에 중복하여 등록 불가

4. API, 외부 데이터 및 사전 학습 모델

• 사전 학습 모델/API 사용 가능 범위
• 사용에 법적 제약이 없으며, 오픈소스 라이선스로 제공되고 가중치가 공개된 사전 학습 모델 사용 가능
• 원격 서버를 통해서만 접근 가능한 API 형태의 모델(OpenAI API, Gemini API 등) 사용 불가능
• 외부 데이터 사용 금지
• 대회 제공 데이터만 사용 가능
• 단, 제공 학습 데이터를 바탕으로 사전 학습 모델/API 사용 범위를 충족하는 내에서 데이터 증강/생성은 가능

5. 코드 및 PPT 제출 규칙

• 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io 메일로 기한 내에 제출
• 제출한 코드는 Private Score 복원이 가능해야 함

o  코드에 데이터 입/출력 상대 경로 포함

o  코드 파일 확장자: .py, .ipynb

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

• 제출 파일 목록

o Private Score 복원이 가능한 전처리, 학습, 추론 코드 파일 (필수)

o Private Score 복원이 가능한 모델 weight 파일 (필수)

o 서면 평가 PPT 자료 (필수)

-> 2차 평가 기준(2. 평가 방식 -> 2차 평가 기준)에 맞춰 자유 양식으로 작성

6. 유의 사항

• 1일 최대 제출 횟수: 5 회
• 사용 가능 언어: Python
• 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
• 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외 (평가 데이터셋의 Pseudo Labeling 포함)
• 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 정상적인 코드의 범주 : 반드시 제공 데이터로부터 언어 모델 학습 또는 RAG의 과정이 존재해야하며, 이러한 언어 모델을 바탕으로 추론(생성)이 이루어져야합니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일을 1개를 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

7. 토론(질문)

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?