월간 데이콘 법원 판결 예측 AI 경진대회

알고리즘 | 언어 | 분류 | Accuracy

 

[제출금지] "판사 AI로 대체 시급" (with Chatgpt3.5 API)

2023.06.16 10:32 4,056 Views language

[필독]
머신러닝/딥러닝 모델을 사용하지 않고, 학습데이터를 사용하지 않기에 이번 대회에서 사용하기 부적합한 코드이니, 제출에는 주의해주세요!
코드를 더 활용하셔서 높은 등수를 얻더라도, 검증 과정에서 탈락할 수 있으며, API 사용료만 날리시게 됩니다!

안녕하세요!
자연어 처리도 공부를 시작한 초보자입니다!
마침 좋은 대회가 열려 사이사이 공부하려 합니다.
문득 얼마 전 뉴스에서 GPT 모델이 미국 변호사 시험에도 합격했다는 소식이 떠올랐고, 
유튜브 댓글에서는 항상 "판사를 AI로 빨리 바꿔야한다"라는 글이 많이 보였던 게 생각났습니다.
그래서 이 데이터에서는 어떤 결과가 나올지 궁금했습니다!

train 데이터에 적용했을 때, 상당히 오답률이 높았습니다.
의료나 법원 판결과 같은 문제는 한 번의 실수도 치명적이니 아직은 조금 이를지도 모르겠네요!

train 데이터의 결과에 안심하고 test 데이터를 적용했을 때,  
한편으론 너무 높은 점수가 나오면 어쩌나 했는데, 
다행히(?) 점수는 0.4 후반대로 제 리더보드 점수에 큰 영향은 주지 않고, 
Train 데이터를 활용해서 언어모델을 통해 학습한 결과물이 조금 더 잘 나오더군요!
Test 데이터로 괜히 돈 날리지 마시고, train데이터에 일부만 적용해서, 어떤 답변을 주는지 테스트 해보세요!

1. OpenAI 가입 후, OpenAI API key를 발급받으세요. (https://platform.openai.com/account/api-keys)
2. 좌측 Billing 탭을 누르시고, 신용카드를 등록하세요. 
* OpenAI API 사용료는 Chatgpt Plus plan 결제 여부와 별개로 금액이 부과되니 주의하세요!
3. 아래 코드에 발급받은 API key를 입력하고, 실행하세요.
4. 몇 문장을 답변받고 나면, 코드가 끊기곤 합니다. 끊길 땐 6번 블록 코드를 실행해 이어서 답변을 받아봅니다.
5. train의 정답과 gpt가 알려준 정답을 비교해보세요!

+ 문제 시 삭제하겠습니다!

Code
로그인이 필요합니다
0 / 1000
Data_bari
2023.06.16 11:40

 확실히 대체가 시급하긴 하죠 ㅎㅎ 코드 잘 봤습니다!

이세의인공지능
2023.06.17 11:20

감사합니다!

Ridealist
2023.06.16 23:24

저도 ChatGPT에게 몇 개 물어보면서 LM이랑 차이 비교해봤는데, 이렇게 코드를 아예 짜서 사용하셨군요. 멋집니다!

이세의인공지능
2023.06.17 11:21

일단 돌리기만 하는 코드라 어딘가에 쓰게 된다면 에러에 대비할 수 있게 해야될 것 같네요 ㅠ
감사합니다!