분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
나라장터 자체입찰 공고 법령 위반사항 모니터링 AI 경진대회
[DACON 답변요청] v1 보유 요건의 계약방식별 경계, 그리고 고정 LLM logprob 기반 임계 후처
성격이 다른 두 사안이지만 분량이 짧아 한 글로 질문드립니다.
[1] v1 - 제한경쟁에서 과업 관련성이 확인되는 보유 요건의 처리
9월 15일 답변(v1은 계약방식에 적용되는 규정과 과업상 필요성·관련성을 함께 본다)을 세 표본의 계약방식에 대조해 보았습니다.
- PPS-DEV-046 : 지방계약법 / 제한경쟁 / 적격심사제 / 입찰추정가격 555,308,000원 / v1=1
- PPS-DEV-063 : 국가계약법 / 제한경쟁 / 적격심사제 / 입찰추정가격 165,869,091원 / v1=1
- PPS-DEV-083 : 지방계약법 / 수의계약 / 소액수의견적 / 입찰추정가격 69,090,909원 / v1=0
083의 v1=0 근거로 (1) 소액수의 견적제출 방식, (2) 집행기준 제5장, (3) 과업지시서상 용도 확인, 세 가지를 함께 들어 주셔서 다음이 확정되지 않습니다.
제한경쟁 공고에서 보유 요건의 필요성·관련성이 과업지시서 등으로 확인되면 v1 비위반으로 보아도 되나요??
(가) 083의 면제가 계약방식(소액수의 견적제출)에서 나오는 것이라면, 제한경쟁에서는 관련성이 확인되어도 법령상 근거 없는 보유 요건은 위반인지
(나) 계약방식과 무관하게 관련성으로 판단하는 것이라면, 046과 063은 그 관련성이 공개 문서에서 확인되지 않아 위반인 것인지
083의 근거로 드신 「지방자치단체 입찰 및 계약 집행기준」은 국가계약법이 적용되는 063에는 적용되지 않는 것으로 이해하고 있어, (가)와 (나) 중 어느 쪽인지에 따라 국가계약법 건의 처리가 달라집니다. 판정 대상 대부분이 제한경쟁이라 이 경계에 따라 적용 범위가 크게 달라집니다.
[2] 고정 LLM 출력 확률(logprob)을 이용한 항목별 임계 후처리의 허용 범위
"모델 출력에 대한 후처리·규칙 기반 보정은 자유"와 "참가자가 학습시킨 모델의 판정 사용 금지" 사이의 경계를 확인하고자 합니다.
2-1. 고정 LLM을 정상 호출한 뒤, 구조화 출력의 "위반여부" 위치에서 토큰 "0"과 "1"의 logprob을 함께 받아 항목별 임계와 비교해 최종 0/1을 정하는 방식이 "후처리"에 해당합니까? 가중치와 추론 설정은 변경하지 않고 같은 호출의 출력에서 확률값만 추가로 읽는 것입니다.
2-2. 허용된다면 그 임계값(항목당 실수 1개, 총 24개)을 (가) 배포된 dev 200건의 라벨, (나) 규칙상 허용된 자가 라벨링 결과로 정하는 것이 "학습"에 해당합니까? 임계값은 학습 파라미터가 아니라 제출 전에 고정되는 상수입니다.
2-3. 허용된다면 그 상수를 script.py에 직접 적거나 model/ 디렉토리에 동봉하는 것이 "제공 자료를 바탕으로 만든 정적 자산"에 해당하나요?
비공개 평가 데이터로 임계를 갱신하거나 공고 간 정보를 활용하는 방식은 금지임을 이해하고 있습니다.
감사합니다.
이어서 [2]에 답변드립니다.
[2] 고정 LLM logprob 기반 후처리
2-1. 허용됩니다. 지정된 고정 LLM을 해당 공고의 내용을 포함한 프롬프트로 정상 호출하여 응답을 받은 뒤, 같은 호출에서 얻은 0·1 토큰의 logprob에 항목별로 미리 고정한 임계값을 적용하는 방식은 모델 출력에 대한 후처리·규칙 기반 보정에 해당합니다.
2-2. 공개 dev 라벨 또는 규칙상 허용된 자가 라벨링 결과를 이용해 24개 임계값을 정하는 것은 허용된 후처리 튜닝의 범위입니다. 다만 고정된 임계값을 적용하는 규칙이어야 하며, 별도로 학습한 분류기·회귀모델의 가중치를 판정에 사용하는 방식은 허용되지 않습니다.
2-3. 임계값은 script.py에 상수로 작성하거나 model/에 JSON 등 일반 설정 파일로 포함할 수 있습니다. 이는 정적 설정 자산에 해당하지만, 학습된 모델 가중치나 어댑터를 포함해서는 안 됩니다.
임계값은 제출 전에 고정되어야 하며 비공개 평가 데이터로 갱신할 수 없습니다. 각 공고는 독립적으로 처리해야 하며, 자가 라벨링을 사용했다면 생성 코드·프롬프트·절차를 재현할 수 있어야 합니다. 최종 제출값은 기존 형식대로 0 또는 1이어야 합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Co.,Ltd All rights reserved
안녕하세요, 데이콘입니다.
[1] v1 - 제한경쟁에서 과업 관련성이 확인되는 보유 요건의 처리 관련
(가)와 (나) 중 하나만 적용한다는 의미는 아닙니다. 앞선 답변의 ‘함께 살펴본다’는 표현은, 해당 계약방식에 적용되는 규정에서 그 유형의 자격 제한이 허용되는 범위와 공고문·제공된 첨부문서에서 그 요건의 과업상 필요성·관련성이 확인되는지를 함께 본다는 뜻입니다. 항목표 v1이 연결한 제한경쟁 관련 조문은 국가계약법 시행령 제21조와 지방계약법 시행령 제20조입니다.
따라서 소액수의 견적제출이라는 이유만으로 일괄 비위반이 되는 것도 아니고, 제한경쟁에서 과업 관련성만 확인되면 곧바로 비위반이 되는 것도 아닙니다. 앞선 답변에서 PPS-DEV-083에 대해 든 설명도 이 두 가지를 함께 본 것이며, 말씀하신 대로 그때 인용한 지방 집행기준은 국가계약법 적용 대상인 PPS-DEV-063에는 적용되지 않습니다. PPS-DEV-046·063에 대해서는 앞선 답변에서 안내드린 범위와 같습니다.