저는 문단 시작토큰, 끝 토큰을 추가하고 reranker모델을 사용해서 pair wise로 예측, 이를 바탕으로 6! 의 경우의 수 중 문단의 종합예측 score가  가장 높은 경우를 예측했습니다.
qwen reranker 4b 모델을 활용했고 contrastive  learning을 통해 성능을 올리려했는데 잘 안되었네요.

encoder 계열(reranker 포함)로 문장 4개 [sep]로 나열하고 원래 위치 예측과 더불어, sep 토큰을 이용해서 attention map상에서의 상대적 문장 위치 예측 loss를 보조적인 loss로 활용해볼까 하고 생각은 했는데 하지 못했군요