PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10809v1cs.LG

개입적 전이를 통한 루브릭 생성 평가

Evaluating Rubric Generation with Interventional Transfer

인스턴스별 루브릭은 신뢰할 수 있는 평가를 위해 특정 전문가 지식이 필요한 AI 벤치마크에서 흔히 사용됩니다. 이러한 방식은 확장이 어려워 대규모 언어 모델(LLM)을 활용한 루브릭 생성 연구로 이어지고 있습니다. 그러나 전문가 루브릭을 참조용으로 활용할 수 있는 경우에도, 생성된 루브릭의 품질을 대규모로 생산성 있게 평가하는 방법은 명확하지 않습니다. 본 논문에서는 응답에 섭동을 주어 한 루브릭을 통과 또는 실패하도록 만들었을 때 두 루브릭이 함께 움직인다면 서로 유사하다는 아이디어에 기반한 루브릭 생성 평가 방법인 개입적 전이(Interventional Transfer, IT)를 소개합니다. 루브릭 생성 평가를 위한 기존 접근법과 달리, 본 연구에서는 다양한 형태의 개입적 전이를 활용하여 여러 태스크에 대한 생성된 루브릭의 유용성을 평가할 수 있다고 주장합니다. 예를 들어, HealthBench를 대상으로 한 사례 연구에 이 접근법을 적용하여 GPT-5.6-Terra의 응답을 평가하는 데 사용된 Qwen3.8-27B, Deepseek-V4-Flash 및 Opus-5 생성 루브릭의 비대칭성을 입증합니다. 생성된 루브릭이나 전문가 루브릭을 기준으로 응답을 저하시키는 섭동은 대응하는 전문가 또는 생성된 루브릭에서도 더 낮은 점수로 전이되지만, 한 루브릭에서 점수를 개선하는 섭동은 다른 루브릭에서 더 높은 점수로 안정적으로 전이되지 않습니다. 우리는 이러한 발견이 성능 모니터링 및 힐 클라이밍(hill-climbing)을 위한 LLM 생성 루브릭의 활용에 시사하는 바가 크다고 주장합니다. 또한 우리가 관찰한 것과 동일한 비대칭성을 드러내지 못하는 기존 루브릭 평가 접근법들과 본 접근법을 대조합니다.