IBBench-Light: 외부 지시문에 대한 작업 조건부 응답의 쌍 평가
IBBench-Light: A Paired Evaluation of Task-Conditioned Responses to External Directives
외부 레코드는 사용자의 요청에 따라 적용할 절차를 포함할 수도 있고 읽어야 할 텍스트를 포함할 수도 있습니다. IBBench-Light는 동일한 레코드에 대해 이 두 가지 용도를 모두 테스트합니다. 12개의 의미 기반(semantic base)을 통해 모델당 144개의 대응 쌍을 얻으며, 4개의 양자화(quantization)된 인스트럭션 모델이 아카이브된 1,152개의 그리디(greedy) 응답을 생성했습니다. 쌍별 정확 계약 정확도(PECA)는 쌍의 두 구성 요소 모두가 출력 계약을 충족해야 합니다. Qwen은 132개의 실행(execute) 프롬프트와 109개의 처리(process) 프롬프트에서 성공했으나 완전한 쌍은 97개에 불과하여 한계 평균(marginal average)이 생략하는 부분을 보여줍니다. 본 연구에서는 문자 그대로의 대상(literal-target) 노출 및 대소문자 정규화(normalization)를 감사(audit)한 후, 지시문 부재 대조군, 12개의 추가적인 의미 기반, 기반 내 표현 변경, 생성 중단을 테스트하기 위해 1,722개의 기록된 CPU 생성을 추가합니다. 고정된 Phi 재실행에서는 문장 끝(EOS) 세트를 변경함으로써 정확한 쌍 성공률이 0/144에서 62/144로 변화합니다. 유계(bounded) IHEval 비교에서는 동일한 SmolLM2 체크포인트와 출력 예산을 사용하면서 공개된 인스트럭션 역할 및 채점기를 유지합니다. 이 벤치마크는 조건부 작업 및 출력 계약 성공을 측정합니다. 본 벤치마크의 작업 한계치와 쌍 수는 중단 정책과 함께 함께 해석되어야 합니다.