ChatGPT 활용 AI 경진대회 월간 데이콘

알고리즘 | ChatGPT | 프롬프트 엔지니어링 | 언어 | 분류 | Macro F1 Score

상금 : 인증서
1,200명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

DAKER! ChatGPT 대회 관련 문의

DACON.GM

2023.03.07 16:52 2,293 조회

안녕하세요. 참가자 여러분 대회 관련 자주 묻는 질문들을 모았습니다.

그 외 대회 관련 궁금하신 부분은 댓글로 남겨주세요. 즐거운 코딩 되세요.🧑‍💻🧑‍💻

[팀 구성]

본 대회는 1인으로만 참가 가능한 대회입니다.

[중요! ChatGPT 활용 대회 관련]

본 대회는 경진대회 최초로 ChatGPT를 활용한 코드 생성 대회로 모든 코드는 ChatGPT에게 질문(프롬프트)을 통해 생성된 코드로 구성되어야하고 모든 과정이 작동할 수 있어야합니다.

그리고 참가자는 이렇게 구성된 코드를 단지 실행만 시켜 모델을 학습하고 추론하여 리더보드에 제출해야합니다.

아울러 AI 모델 관련 하이퍼파라미터 역시 ChatGPT가 설정한 그대로를 적용해야합니다.

또한 ChatGPT에게 AI 프로젝트의 전체적인 과정을 나누어서 코드를 생성하도록 질문하는 경우, ChatGPT가 생성한 코드가 매끄럽게 이어지지 못해 오류가 발생하는 부분에 한해서만 수정이 가능합니다.

[제출 파일]

Q) 최종 파일은 어떤 걸 제출하면 되나요?

private 채점 결과가 가장 좋을 것으로 예상되는 파일을 선택하여 제출하시면 됩니다.

Q) 최종 파일 제출 방식은 어떻게 되나요?

해당 대회 페이지에서 제출 메뉴를 통해 진행할 수 있습니다. 제출할 파일을 선택 후 제출 버튼을 클릭하면 제출이 진행됩니다.

Q) 제출 결과물을 삭제하고 싶어요

제출 결과물을 개별 삭제하는 것은 불가능합니다.

Q) 대회 종료 후에도 결과물 제출이 가능한가요?

연습이 가능한 대회는 제출이 가능합니다.

Q) 제출 파일 점수 확인은 어떻게 하나요?

최고 점수는 리더보드에 표시되며 각 파일의 점수는 제출 탭에서 확인하실 수 있습니다.

Q) 최종 파일 선택 개수는 몇개 인가요?

최종 파일 선택 개수는 대회 규칙에서 확인해 주시기 바랍니다.

Q) csv파일 제출 시 에러가 발생합니다.

제공된 sample_submission.csv 파일과 제출 파일의 행, 열 의 크기가 동일해야 하며, 만약 해당 부분이 일치하지 않을 경우 에러가 발생할 수 있습니다.

[리더보드 점수]

Q) 리더보드에서 점수가 삭제된 이유가 뭔가요?

대회 규정 위반이 의심되는 경우 치팅 처리되어 점수가 삭제됩니다. 점수 복구를 위해서는 코드를 제출하여 검증을 받아야 합니다.

Q) 리더보드 업데이트 시간이 어떻게 되나요?

Public Score는 실시간으로 최고 점수로 업데이트되며, Private Score는 대회 종료 후 점수 계산에 오류가 없으면 공개됩니다.

Q) 동점인 경우 어떻게 하나요?

동점의 경우 해당 점수를 먼저 기록한 팀이 높은 순위에 위치하게 됩니다.

Q) 리더보드 점수에 문제가 있는 것 같습니다.

리더보드 점수에 이상이 있다고 여겨지는 경우 데이콘 계정의 메일로 해당 제출물을 설명과 함께 전달해 주시면 확인하여 답변드립니다.

Q) Private점수 확인 가능한가요?

최종 선택한 파일 이외의 제출물에 대해서는 따로 Private Score를 계산하지 않습니다. 다만, 대회 종료 이후 연습 기간에는 정답 파일을 제출하면 제출 탭에서 Private Score를 확인하실 수 있습니다.

Q) Private, Public 차이가 뭔가요?

Test Data를 특정한 비율로 나누어 Private Score와 Public Score를 계산합니다. Public Score는 대회 기간 중에 리더보드에서 확인가능합니다. Private Score는 대회 종료 후 리더보드에서 확인 가능하며 Private Score를 통해 최종 순위가 결정됩니다.

[규정]

Q) 코드 검증 과정에서 규정 위반이란 어떤 것 인가요?

test 데이터를 모델 학습 시 활용하거나, 허가되지 않은 외부 데이터 및 사전 학습 모델 사용 시 규정 위반 처리될 수 있습니다.

Q) GPU로 인해 결과물 재현이 되지 않아도 괜찮나요?

최종 제출 점수 재현이 100% 일치하지 않더라도, 순위가 변경되지 않을 수준의 차이는 감안하여 수상자를 결정하게 됩니다.

Q) 어떤 경우가 Data Leakage에 해당되나요?

본 대회는 ChatGPT에게 질문을 통해 코드를 생성하는 대회로 Data Leakage에 유의하여 코드를 생성할 수 있도록 질문(프롬프트)을 구성해야합니다.
label encoding, one-hot encoding 시 test 데이터 셋 활용
pd.get_dummies() 함수에 test 데이터 셋 활용
data scaling 적용 시 test 데이터 셋 활용
test 데이터 셋의 결측치 처리 시 test 데이터 셋의 통계 값 활용
위 예시 외에도 test 데이터 셋이 모델 학습에 활용되는 경우에 Data leakage에 해당됨.
추가로 대회 규칙 -> 유의 사항에 기재되어 있는 Data leakage 내용도 꼭 확인해야합니다.

댓글 27개

로그인이 필요합니다

comment

0 / 1000

이세의인공지능

2023.03.08 00:09

이 주제는 정말 대단하네요...

Dobby98

2023.03.08 10:55

주제가 재미있는거 같네요 :)

비공전함

2023.03.10 13:21

저가 데이콘이 처음이라 그런데 참고할만한 자료가 있을까요?

비회원

2023.03.10 16:35

데이터(아직 미공개)에 대해 사람이 코딩하는게 아니라 chatGPT가 코딩한 모델을 가지고 정확도 검증을 한다는건가요??

DACON.GM

2023.03.10 16:43

안녕하세요.
대회 시작 당일, 주어지는 데이터와 문제(프로젝트)에 대해서 오직 ChatGPT에게 질문(프롬프트)을 통해 답변으로 받는 코드를 통해 전체적인 파이프라인을 구축해야합니다. (데이터 -> 전처리 -> 모델 학습 -> 모델 추론 -> 제출 파일(csv) 생성)
참가자는 ChatGPT가 답변으로 생성해준 코드를 실행시켜 제출파일을 생성 후 리더보드에 제출만 할 수 있습니다.
감사합니다.

kimmmy

2023.03.11 19:31

그런데 chatGPT가 만들어준 코드라는 걸 어떻게 검증하시는거죠??
프롬프트하고 코드를 같이 첨부해서 보내드려야하는건가요??

DACON.GM

2023.03.13 09:03

안녕하세요 kimmmy님,
대회 종료 후 평가 대상자는 ShartGPT 등의 애드온을 활용하여 프롬프트(질의)와 Response(응답)이 담겨있는 URL을 추출하거나,
캡쳐 등의 방식으로 최종 코드와 함께 제출해야합니다.
자세한 내용은 대회 시작과 동시에 업로드될 베이스라인 게시글을 참조 부탁드립니다.
감사합니다.

kimmmy

2023.03.11 19:28

ChatGPT 이전에도 그랬지만 결국 양질의 질문이 들어가야 아웃풋도 좋게 나오는 것일텐데,
어떻게하면 양질의 질문을 잘 할 수 있을지 고민해볼 수 있다는 부분에서 굉장히 흥미로운 주제네요!
프롬프트 엔지니어링이라는 직무가 진짜 대체 불가능한 직무일수도... 아닌가

plmokn

2023.03.13 10:49

요즘 chatGPT 얘기가 많은데 대회를 통해 배울 수 있는 점이 많을 것 같아요,,

의상이의면도날

2023.03.13 14:20

ShartGPT 꼭 이 프롬프트를 이용하여 인증해야 하나요?
하다보면 계속해서 질문이 누적되고 며칠전에 Chat gpt가 알려준 코드에 덮어써서 계속 수정을 할텐데 그걸 다 어떻게 증명해야할지 잘 모르겠어요ㅜㅜ
지금 gpt 오류때문에 전 대화내용 저장도 안되고 shartGPT이용해도 깨지는 경우가 있어서 ctrl+p 로 pdf로 만들어서 저장중인데 코드에 들여쓰기가 없이 저장되는데 이렇게 되도 상관없나요? 그리고 질문했던 모든 내용을 다
증명해야 하는건가요?

DACON.GM

2023.03.13 14:24

안녕하세요 의상이의면도날님,
베이스라인 코드 게시글 예시와 같이 질문 / 응답 의 부분들을 캡쳐하여 하나의 PDF로 구성해도 됩니다.
그러나 가급적 ShareGPT나, 기타 다른 ChatGPT 대화 로그 추출 확장프로그램을 활용하여 깔끔하게 추출하는 것을 권장드립니다.
아울러, '질문이 누적되고 며칠전에 Chat gpt가 알려준 코드에 덮어써서 계속 수정' 에 대해서 좀 더 자세하게 설명해주신다면 더 정확한 답변을 드릴 수 있을 것 같습니다.
리더보드의 최종 제출로 선택한 제출파일을 생성할 수 있는 ChatGPT 코드와 그것에 해당하는 프롬프트만 정리해주시면 됩니다.
감사합니다.

의상이의면도날

2023.03.13 14:50

삭제된 댓글입니다

moran

2023.03.13 17:48

모델, 하이퍼파라미터 등을 챗지피티의 설정을 그대로 따르라고 되어있는데, 혹시 행동 유도, 전략 수정을 지시하는것이 가능한가요?
eg) "RoBERTa 기반 모델을 사용해줘." 혹은 "Learning Rate를 3e-5로 수정해줘." 혹은 "옵티마이저를 AdamW로 수정해줘." 등

DACON.GM

2023.03.13 17:50

안녕하세요 moran님,
이번 ChatGPT 경진대회의 경우에는 해당 방법으로 진행 가능합니다.
감사합니다.

chanmuzi

2023.03.15 01:14

여러 개의 채팅에서 답변으로 받은 코드를 복사하여 하나의 노트북 파일을 구성하는 것은 상관이 없나요?

DACON.GM

2023.03.15 09:12

안녕하세요 chanmuzi님,
ChatGPT로부터 응답으로 받은 코드라면 가능합니다.
단, 프롬프트와 Response(응답)가 담긴 자료도 같이 제출할 수 있어야합니다.
감사합니다.

chanmuzi

2023.03.16 03:04

감사합니다. 그런데 혹시 gpt가 답변해준 코드를 재배치하는 것도 가능한가요?
똑같은 내용이지만 사용한 함수나 경로가 달라서 순서만 다르게 배치하고 싶은데 가능한지 확인 부탁드립니다!

DACON.GM

2023.03.16 09:35

대회 규칙에 기재된 것과 같이 'ChatGPT에게 AI 프로젝트의 전체적인 과정을 나누어서 코드를 생성하도록 질문하는 경우, ChatGPT가 생성한 코드가 매끄럽게 이어지지 못해 오류가 발생하는 부분에 한해서만 수정이 가능합니다.'의 범주 내에서의 수정은 가능합니다.

chanmuzi

2023.03.21 14:09

GPT가 답변으로 준 코드의 일부만 사용하는 것은 가능한가요?
예를 들어 라이브러리를 불러오는 부분을 제외한 나머지 코드를 사용한다든가, 전체 학습 과정 중 validation 부분만 떼와서 기존 답변으로 작성된 코드를 덮는다든가 하는 방식을 여쭤본 것입니다.

DACON.GM

2023.03.21 14:15

"또한 ChatGPT에게 AI 프로젝트의 전체적인 과정을 나누어서 코드를 생성하도록 질문하는 경우, ChatGPT가 생성한 코드가 매끄럽게 이어지지 못해 오류가 발생하는 부분에 한해서만 수정이 가능합니다." 에 한정해서만 가능합니다.

chanmuzi

2023.03.21 16:59

감사합니다.
그럼 답변을 유도할 수 있는 질문의 경우엔 문제가 되나요?
예를 들어,
1) 답변으로 받은 코드 전체를 복사한 후, 다시 질문할 때 'batch_size'의 값을 a에서 b로 수정해줘.
혹은
2) batch_size 변수에 a를 할당하는 코드를 작성해줘
등 직접적으로 코드를 작성하는 것과 큰 차이가 없는 프롬프트에 대해 질문 드립니다.

DACON.GM

2023.03.21 17:08

ChatGPT로부터 큰틀이 되는 코드를 먼저 생성 받은 후에 진행되는 작업이기 때문에, 말씀해주신 방법은 가능합니다.

근댕푸

2023.03.15 03:03

대회기간 중 리더보드에서 public 점수가 낮아도 private 점수가 높으면 최종 순위가 높아질 수도 있는건가요?

DACON.GM

2023.03.15 09:15

안녕하세요 근댕푸님,
Test Data를 특정한 비율로 나누어 Private Score와 Public Score를 계산합니다. Public Score는 대회 기간 중에 리더보드에서 확인가능합니다. Private Score는 대회 종료 후 리더보드에서 확인 가능하며 Private Score를 통해 최종 순위가 결정됩니다.
감사합니다.