모두 좋은 결과 있으시길 바랍니다!

두 모델이 걸리는 시간이다르긴 하지만 모델당 1시간에 60개정도 나옵니다.
분당 1개씩은 나오네요
시간이 너무 오래걸려서 이 접근법이 아닌가 싶지만 조금이라도 뭔가 해보고싶어서요

<프롬프트>
- 또한, 작년 까지도 프롬프트를 따르지 않는 경우가 많긴 했으나 계속된 개선으로 최신 모델들은 완전히 지시사항을 무시하는 정도의 성능 문제를 보이지는 않는데 현재 어떤 문제를 겪고 계신 것인지 잘 모르겠습니다.
- 첨부하신 프롬프트를 살펴보면, '개인적인 의견, 댓글, 웹사이트 UI 요소 등을 절대 포함하지 않습니다' 등의 instruct tuning이 제대로 되지 않은 모델들에서 발생하는 문제를 해결하기 위한 프롬프트가 들어가있는데, 이 정도의 프롬프트가 필요할 정도로 성능 하락이 발생한 모델을 사용하고 계신 것은 아니라고 생각합니다. 심지어 최신 모델들은 프롬프트가 딱히 필요 없는 경우도 많이 있습니다.
- 단 하나의 케이스이긴 하나, 말씀하신 대로 어려움이 발생하는 지 확인하기 위해 트레인셋 0번 데이터에 대해 시도해본 결과, 제가 봤을 때는 아무 문제 없이 잘 생성된 것을 확인할 수 있었습니다. 사진 첨부가 불가능하니, 링크로 남기겠습니다. https://drive.google.com/file/d/1JfvtydNcrkVp2szG_-aRERNJ9F_xGvzg/view?usp=sharing

<컨택스트 길이>
- 최신 모델들의 컨택스트를 넘어갈 만한 인풋은 트레인 셋에 없는 것으로 알고 있습니다.
- 이 부분이 문제가 되지는 않을 것인데, 특정 테이터에서 문제가 발생하는 경우를 확인하신 적이 있나요?

<양자화>
- 생성 속도가 문제가 되는 상황에서, FP8로만 전환하려고 하시는 이유가 있으신가요?
- INT4도 성능 하락이 패러프라이징 정도를 못할 정도로 크지는 않다고 생각합니다. 그리고 코랩에서만 돌리셔야 하는 상황이라면 더더욱 채택해서 나쁠 것이 없다고 생각됩니다. bnb config에서 하나만 바꾸면 되는 정도로 크게 힘들지도 않고요.

[증강 관련]
- 현재 작성해주신 글만 읽었을 때에는 증강이 key solution이라 판단하신 이유에 대해서는 인지하기 힘든데요,
- LLM 생성 텍스트를 탐지해야 하는 상황에서 특정 LLM으로 추가 증강을 진행하는 것이 적절한 지에 대해 어떤 생각을 가지고 계신지 궁금합니다.
- LLM의 텍스트 생성 패턴은 모델마다 다르기 때문에 여러 LLM으로 생성한 글을 하나의 딥러닝 이진 분류 모델로 탐지하는 것은 불가능합니다.
- 이 대회의 데이터 셋이 만들어진 방식에서 테스트와 트레인 모델이 서로 다른 경우, model agnostic solution이 필요할 것이고,
- 서로 같은 경우, 그 모델이 무엇인 지 모르는 상태에서 특정 LLM으로 생성한 글로 증강하는 경우 학습에 방해가 될 것이라고 생각합니다.
- 대회 목적이 정확히 어떤 것인지는 현재 0.9를 넘은 팀들은 제대로 파악하고 있겠지만, 저희 팀도 0.8대를 유지하고 있어 대회의 목적이 model agnostic 탐지인지 한 모델이 생성한 것을 탐지하는 것인지는 아직 모르겠습니다.
- 저희 팀은 0.9 달성 이후 추가 성능 상승이 막힌다면 최후의 수단으로 증강을 고려해보지 않을까 하고 있습니다.
- LLM 증강이라는 선택지는 비용이 매우 큰 선택지이므로, 이에 대해 잘 판단하시길 바라겠습니다.


P.S: 아래는 증강 테스트에 사용한 프롬프트입니다.
https://drive.google.com/file/d/1A0d85xLABfMi6vvzn1xNRpNUJaHAYSjf/view?usp=drive_link

교수님이세요??? 저도 근데 동감입니다. 7b짜리 모델은 너무 무거울것 같습니다. kaggle Pro라고하더라도 컴퓨팅비용과 시간 둘다 엄청 소모될것같아요.

상세한 답글 감사합니다.
글을 읽고나니 초보자 입장에서 무모한 생각이었나 생각이 드네요.
사실 답변해주신 내용에서 생각해보지 못했거나, 몰랐던 사실이 많습니다.
그래도 조언해주신 내용을 바탕으로 더욱 발전시켜나가 보겠습니다.

좋은 결과 있으시길 바랍니다.

오.. 그렇군요..
알려주셔서 감사합니다!
저희도 여러가지를 시도해봐야겠어요.

좋은 결과 있으시길 바랍니다.

감사합니다.
데이터 불균형을 해결하기 위한 방법을 저는 증강이라고 생각했는데, 윗 분의 글과 이 글을 읽어보니 그게 너무 naive한 생각이었을 수 있겠네요.
적절한 대안까지 알려주셔서 감사합니다.

시도해보고 다음에 또 글 올릴 수 있으면 좋겠습니다.
좋은 결과 있으시길 바랍니다.

증강이 편향에 영향을 줄 수 있을텐데 마냥 순진하게 생각했나봅니다.
답글 달아주셔서 감사합니다.

좋은 결과 있으시길 바랍니다.

상세한 답글 감사합니다.
역시 글을 올려보기 잘 한 것 같습니다.
덕분에 저의 시야가 넓어지는 것 같습니다.
특히 인간이 특징을 결정 짓고 전처리하면 인간이 알 수 없는 특징 정보는 소실될 수 있다고 하신 말씀이 와닫네요.

좋은 결과 있으시길 바랍니다.

삭제된 댓글입니다

오.. 그렇게 접근하셨군요.
노력이 느껴지는 경험담이어서 좋습니다.
이렇게 시도하신 방법과 얻으신 insight까지 공유해주셔서 감사합니다.
체계적으로 접근해야한다는걸 간과하고 있었습니다.
참고해서 목표 달성해보겠습니다.

좋은 결과 있으시길 바랍니다.

초반에는 White-Box, Black-Box 팀으로 나누고 White-Box 팀은 BERT와 같은 Black-Box 방법론에 비해 
일반화 성능이 뛰어난 위와 같은 White-Box 방법론을 사용하여 프로젝트를 진행했습니다. Black-Box의 경우 
Train Dataset과 분포나 Domain이 다른 Text에 대해서는 분류 성능이 크게 떨어지기 때문입니다.

하지만 아쉽게도 White-Box 기반 방법론으로는 0.7 초반대의 점수밖에 얻지 못했습니다. 
아무래도 White-Box 기반방법론의 경우 문장을 생성한 LLM과 Scoring Model로 사용한 LLM이 다를 때 
성능이 크게 떨어지는 경향이 있고, 어떤 LLM을 통해서 문장이 생성되었는지 모르는 현 상황에서 해당
방법론이 큰 힘을 내지는 못했던것 같습니다. 또한 Train, Test Set간의 분포가 크게 다른 것도 본 방법론이 부진했던 큰 이유인것 같습니다.
    Train - AI-Generated: Document 중 일부 Paragraph, Sentence만 AI-Generated
    Train - Human-Written: Document 전체가 Human-Written
    Test - AI-Generated: 전체 Paragraph가 AI-Generated
    Test - Human-Written: Paragraph 전체가 Human-Written

지난주 주말 전까지 White-Box 팀에서는 DetectGPT, Fast-DetectGPT, Ghostbuster과 같은 각종 방법론을
가지고 실험해보다 도저히 각이 안보여서 그냥 다 같이 Black-Box쪽으로 계속 실험중이네요...ㅋㅋㅋ
계속 일반적인 Supervised 방법론을 벗어나려는 시도를 하고 있긴 하지만 아직은 BERT 기반이 가장 성능이 높게 나오는..

열심히 도전하시는 모습이 멋있으십니다.
좋은 결과 있을겁니다.

남은 기간도 힘내세요 :)

감사합니다, 튀겨진감자님도 힘내세요!