재정정보 AI 검색 알고리즘 경진대회

instruction 답변 고정은 다들 어떻게 하셨나요?

2024.08.24 16:57 1,152 조회

안녕하세요

궁금해서 남깁니다

LLM 모델 generate 옵션을 건드려서 하셨나요?

감사합니다

로그인이 필요합니다
0 / 1000
ingbeeeded
2024.08.31 13:03

```python
do_sample=False,
temperature=0,
``` 
로 알겠습니다

c4big2
2024.09.02 15:03

    text_generation_pipeline = pipeline(
        model=model,
        tokenizer=tokenizer,
        task="text-generation",
        temperature=0.3,
        do_sample=True,
        return_full_text=False,
        max_new_tokens=550,
    )

파인튜닝 없이 오직 rag 만 했어요.
   # 모델 ID
    model_id = "rtzr/ko-gemma-2-9b-it"

온도를 0으로 두는 것보다는 0.3 정도로 하니 점수가 0.1 점 정도 올랐습니다.

ingbeeeded
2024.09.03 12:26

그럼 점수가 매번 바뀌지 않나요?

c4big2
2024.09.05 10:41

그 부분은 크게 체크 하지 않았네요. 점수가 조금 바뀌는것은 신경 안썼어요. 

민아무개
2024.09.05 14:53

torch 시드 고정으로 안되시나요?