인스턴스별 루브릭은 신뢰할 수 있는 평가를 위해 특정 전문가 지식이 필요한 AI 벤치마크에서 흔히 사용됩니다. 이러한 방식은 확장이 어려워 대규모 언어 모델(LLM)을 활용한 루브릭 생성 연구로 이어지고 있습니다. 그러나 전문가 루브릭을 참조용으로 활용할 수 있는 경우에도, 생성된 루브릭의 품질을 대규모로 생산성 있게 평가하는 방법은 명확하지 않습니다. 본 논문에서는 응답에 섭동을 주어 한 루브릭을 통과 또는 실패하도록 만들었을 때 두 루브릭이 함께 움직인다면 서로 유사하다는 아이디어에 기반한 루브릭 생성 평가 방법인 개입적 전이(Interventional Transfer, IT)를 소개합니다. 루브릭 생성 평가를 위한 기존 접근법과 달리, 본 연구에서는 다양한 형태의 개입적 전이를 활용하여 여러 태스크에 대한 생성된 루브릭의 유용성을 평가할 수 있다고 주장합니다. 예를 들어, HealthBench를 대상으로 한 사례 연구에 이 접근법을 적용하여 GPT-5.6-Terra의 응답을 평가하는 데 사용된 Qwen3.8-27B, Deepseek-V4-Flash 및 Opus-5 생성 루브릭의 비대칭성을 입증합니다. 생성된 루브릭이나 전문가 루브릭을 기준으로 응답을 저하시키는 섭동은 대응하는 전문가 또는 생성된 루브릭에서도 더 낮은 점수로 전이되지만, 한 루브릭에서 점수를 개선하는 섭동은 다른 루브릭에서 더 높은 점수로 안정적으로 전이되지 않습니다. 우리는 이러한 발견이 성능 모니터링 및 힐 클라이밍(hill-climbing)을 위한 LLM 생성 루브릭의 활용에 시사하는 바가 크다고 주장합니다. 또한 우리가 관찰한 것과 동일한 비대칭성을 드러내지 못하는 기존 루브릭 평가 접근법들과 본 접근법을 대조합니다.
사용자 건강(센서) 지표를 활용하는 대규모 언어 모델(LLM) 기반 개인 건강 에이전트는 의료 서비스 접근성의 전 세계적 격차를 완화하는 유망한 경로를 제공합니다. 그러나 대규모 임상 배포는 개방형 평가(open-ended evaluation)의 병목 현상으로 인해 제한됩니다. 의사 주석은 신뢰할 수 있지만 비용이 많이 들고 확장성이 없는 반면, LLM-as-a-judge 평가자는 확장 가능하지만 주관적이고 일관성이 없으며 때로는 임상적으로 정렬되지 않은 경우가 있습니다. 우리는 RubricsTree를 소개합니다. 이는 100개 이상의 원자적이고 임상적으로 검증 가능한 불리언 루브릭으로 구성된 전문가와 정렬된 계층적 분류 체계를 갖춘 확장 가능한 평가 프레임워크로, 경험 많은 의사가 이끄는 전문가 패널과의 반복적 인간 루프(human-in-the-loop) 큐레이션 프로토콜을 통해 4,000개의 실제 사용자 쿼리에서 얻은 통찰력으로 발전했습니다. 문맥 인지 적응형 라우터는 쿼리당 관련된 자동 가중치가 부여된 루브릭 부분 집합만 활성화하여, 전문가 수준의 품질을 유지하면서 확장 가능한 평가에 필요한 처리량을 제공합니다. 체계적인 메타 평가를 통해 우리는 RubricsTree가 (i) 까다로운 개방형 쿼리에 대한 전문가 정렬 측면에서 강력한 대규모 평가 기준선(baseline)을 상당히 초과하고, (ii) 문맥적으로 저하된 응답을 신뢰할 수 있게 패널티를 부여하며, (iii) 성능 최적화를 위한 구조화된 지시, 텍스트 피드백 또는 학습(training) 보상으로 사용될 경우 HealthBench에서 Gemini, GPT 및 Qwen 모델 계열에 대해 최대 약 66%의 상대적 성능 향상을 가져온다는 것을 보여줍니다. 따라서 RubricsTree는 제품 수준의 개인 의료 AI를 지속적으로 최적화하는 데 필요한 확장 가능하고 감사 가능하며 진화하는 평가 인프라를 제공합니다.