모델을 처음 쓸 때

질문: 면진장치가 뭐야? 

에 대해서 답변이

답: 면진장치가 뭐야? 면진장치란 지반에서 오는 진동 에너지를 흡수하여 건물에 주는 진동을 줄여주는 진동 격리장치입니다. 

자꾸 이런 식으로 질문을 포함하여 대답을 해서 곤란했던 적이 있으셨나요?

from transformers import pipeline

을 이용하여 답변을 출력할 때

return_full_text=False를 pipeline 인자 안에 넣으면 해결이 됩니다..!

저희 팀도 자꾸 질문을 반복한 후에 답변을 시작하길래 이를 없애는 코드를 짜보려고 하기도 했었는데요 ^^;;

pipe = pipeline('text-generation', model=base_LLM_model, device=0)
output = pipe(question, max_new_tokens=128, eos_token_id=2, return_full_text=False)

이런식으로 해주니 질문이 반복되지 않고 바로 답변을 출력하는 것을 볼 수 있었습니다.

별거는 아니지만 LLM을 처음 썼을 때 헤맸던게 생각이 나서 혹시 저희가 겪었던 같은 부분에서 난항을 겪고 계시는 분들은 한번 참고하면 좋을거 같습니다 ㅎㅎ