arXiv:2610.15938v1 cs.AI

사각지대의 해부학: LLM 판사에게 무엇을, 얼마나 보여주어야 하는가

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

Nitish Kumar, Prateik Pothuneedi, Greg Bandak

제출 2026-10-11

저자 비고

arXiv Comments

50 pages, 19 figures, 7 tables

한국어 초록

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 평가(evaluation)는 판사 역할을 하는 LLM에게 점점 더 많이 위임되고 있으나, 이러한 판사에게 무엇을 보여주어야 하는지는 여전히 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 보고서가 실제로 반영되는 판사를 사이버네틱스(cybernetics) 관점의 조절기(regulator)로 취급하며, 판사에게 무엇을, 얼마나, 어떤 형태로 보여주어야 하는지, 그리고 판사의 보고서가 무엇을 정확히 짚어내야 하는지 질문을 던집니다. 7개의 공개 벤치마크(benchmark)에서 판사에게 보여주는 내용만을 다르게 구성하여 실험을 진행했습니다. 비용 차이가 10배에서 17배에 달하는 세 종류의 판사를 비교했을 때, 어떤 판사를 사용하느냐보다 판사에게 무엇을 보여주느냐가 더 중요했습니다. 준수해야 할 자료를 보지 못한 판사의 피드백을 바탕으로 시스템이 답변을 수정했을 때, 인스트럭션 준수(instruction following) 및 질의응답(question answering) 성능은 시작 지점보다 더 낮아졌습니다. 인스트럭션 준수의 경우 라운드가 거듭될수록 손실이 증가했으며, 판사가 제약 조건은 보지 못한 채 사용자의 요청만 보았을 때나 두 번째 판사 모델군을 사용했을 때도 이러한 현상이 지속되었습니다. 뉴스 요약 과업에서는 원문과 함께 올바른 참조 요약(reference summary)을 제공했을 때 원문이 기여하는 바가 대부분 상쇄되었으나, 단일 답변 질문에서는 참조가 도움이 되었습니다. 원문의 약 10분의 1 수준만으로도 거의 전체 역할을 수행했으며, 소규모 함의 그래프(entailment graph)는 그라운딩(grounding)된 텍스트에서 오류를 찾아내는 데 있어 LLM 판사와 대등한 성능을 보였습니다. 실험 실행 전 83개의 검증 가능한 조항을 사전에 확정했으며, 실행된 81개 중 32개가 기준을 충족했고 50개는 예측된 방향으로 전개되었으나, 이론 기반의 정량적 예측은 대부분 빗나갔습니다. 본 논문에서는 모든 미흡한 점을 빠짐없이 보고하고 측정된 효과에 기반한 설계 규칙을 도출합니다.

원문 초록

Evaluation of text generated by large language models (LLMs) is increasingly delegated to LLMs acting as judges, yet what such a judge must be shown remains unresolved. We treat a judge whose reports are acted on as a regulator, in the sense of cybernetics, and ask what it must be shown, how much, in what form, and what its reports must get right. On seven public benchmarks we varied only what the judge was shown. Across three judges whose prices differ 10- to 17-fold, what the judge was shown mattered more than which judge it was. When a system revised its answers on feedback from a judge denied the material they had to respect, it ended below its starting point on instruction following and question answering. On instruction following the loss grew with each round, and it persisted when the judge saw the user's request but not the constraints and with a second judge family. On news summarisation, a correct reference summary beside the source undid most of the source's contribution, whereas on single-answer questions a reference helped. About a tenth of the source did almost all of its work, and a small entailment graph matched an LLM judge at finding errors in grounded text. We committed 83 testable clauses before running; of the 81 that ran, 32 met their bar and 50 went in the predicted direction, and most quantitative predictions from the theory failed. We report every shortfall and derive design rules tied to measured effects.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15938v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27035v1cs.AI공통 태그 Question Answering, Instruction Following

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2609.27787v1cs.AI공통 태그 llm-as-a-judge, evaluation methodology

어느 것인지 묻고, 얼마나 좋은지는 묻지 말 것: LLM 채점 벤치마크의 표본 크기

Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM

LLM 심사자(judge)가 채점하는 벤치마크는 흔히 0.1점 차이를 가리지만, 그 벤치마크의 분辨력(resolution)은 측정된 적이 없다. 기존 표본 복잡도(sample-complexity) 연구는 정확도 벤치마크를 다루며, 심사 기반 경우는 열어 두었다. 측정 대상을 시스템으로 두고, 일반화가능성 이론(generalizability theory)을 사용해 373,019건의 판정을 시스템, 문항(item), 심사자, 상호작용 성분으로 분해한다. 핵심 결과는 구조적이다: 단일 심사자 하에서 일반화가능성은 문항 수와 관계없이 σ²_s/(σ²_s+σ²_sj)에 점근하며, 이는 시스템×심사자 항에 n_i가 없기 때문이다. 문항은 포화(saturate)하지만 심사자는 그렇지 않다. 목표가 그 상한에 가까워질수록 목표 달성에 필요한 문항 비용은 발산한다. 그 상한은 LLM 심사가 아니라 점수制 루브릭 채점(pointwise rubric scoring)의 속성이다. 양쪽 제시 순서 모두에서 쌍wise 선호(pairwise preference)로 실행하면 σ²_sj는 σ²_s보다 두 자릿수 작아지고 상한은 0.986으로 올라가며(bootstrap [0.934, 1.000], 11개 시스템), 따라서 심사자 한 명으로 충분하다. 쌍wise 방식은 다른 문제를 산다: 먼저 제시된 시스템이 동일 시스템이 나중에 제시될 때보다 8.6 percentage points 더 자주 승리하며, 이 바이어스는 우리가 수집한 53개 공개 win-rate 비교에서 주장된 중앙 개선의 1.23배이다. 프로토콜 설계가 패널 크기를 지배한다. 측정된 바닥(floor)은 기본 문항 수에서 0–5 척도상 0.41–1.24점이며, 보고된 중앙 개선 0.28점과 대비된다; 정확히 대응 비교가 가능할 만큼 자주 반복되는 유일한 벤치마크에서, 수집한 17개 MT-Bench 개선은 모두 MT-Bench 자체 바닥 아래이고, win-rate 주장의 70%는 쌍wise 바닥 아래이다. 628편의 arXiv 논문 감사(두 독립 모델의 이중 코딩, 블라인드 인간 코딩 대비 검증 kappa=0.73) 결과, 4편 중 1편 미만만 평가를 한 번 이상 실행했는지 명시하며, 46–67%만 어떤 형태로든 불확실성을 보고한다.

arXiv:2609.26097v1cs.CL공통 태그 Question Answering, Instruction Following

하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM

One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data

원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.

arXiv:2609.24290v1cs.AI공통 태그 Question Answering, Instruction Following

에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습

When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain

명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.

arXiv:2609.24480v1cs.AI공통 태그 Question Answering, Instruction Following

Fathom-Vaidya: 루브릭 기반 보상을 통한 의료 추론 성능 향상

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

의료 분야에 대규모 언어 모델(LLM)을 배포하려면 서로 보완적인 두 가지 차원에서 견고한 성능이 요구된다 - 진단 추론(임상 데이터로부터 환자의 상태를 추론하여 진단을 도출하는 수렴적이고 근거 기반의 과제)과 임상 헬스케어 추론(단일한 정답이 존재하지 않을 수 있는 다중 턴 임상 상호작용에서 소통하고, 계획하고, 적응하는 데 필요한 보다 광범위한 탐색적 판단)이다. HealthBench, MedXpertQA와 같은 최근 벤치마크들은 두 영역 모두에서 지속적인 약점을 드러내며, 복잡한 진단 시나리오에서의 실패와 맥락적이고 환자 중심적인 대화에서의 한계를 보여준다. 우리는 합성 데이터와 루브릭 기반 강화학습을 사용하여 이러한 측면들을 겨냥하는 순차적 학습 프레임워크를 제안한다. 먼저, 규칙 및 루브릭 기반 강화학습(RL)을 통해 MedBullets에서 파생된 문제를 활용하여 진단 추론을 향상시킨다. 이후 5,300개의 합성 다중 턴 시나리오를 생성하여 임상 추론으로 전환하며, 각 시나리오는 응답을 종합적으로 평가하기 위한 다차원 루브릭과 짝을 이룬다. 이 접근법은 MedXpertQA에서 10% 이상의 성능 향상을 가져오며, 우리의 30B 모델은 HealthBench-Hard에서 50.1%의 정확도를 달성하여 GPT-5(thinking)를 포함한 독점(proprietary) 베이스라인들을 능가한다. 우리의 결과는 목적에 맞게 설계된 합성 데이터셋과 루브릭 기반 학습이 의료용 LLM의 진단 추론과 상호작용적 임상 추론을 모두 체계적으로 향상시킬 수 있음을 보여준다.

arXiv:2607.21419v1cs.AI공통 태그 Question Answering, Instruction Following

PATS: 에이전트 강화학습을 위한 정책 인식 학습 스캐폴딩

PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning

장기 지평(long-horizon) LLM 에이전트 강화학습에서 약한 정책은 종종 유사한 실패를 반복하여 정보가 적은 롤아웃 궤적을 만들고, 효과적인 정책 최적화를 제한한다. 기존 스킬 중심 방법들은 재사용 가능한 스킬을 최적화, 필터링, 또는 내재화함으로써 탐험을 개선한다. 그러나 이들은 진화하는 정책에 대한 적응형 학습 시점 지원으로 설계되기보다는 스킬 자체에 중심을 둔다. 이를 해결하기 위해, 우리는 스킬을 동적 학습 스캐폴드로 재구성하는 정책 중심 학습 패러다임을 제안한다. 우리의 프레임워크인 Pats는 최신 정책의 롤아웃 그룹을 증거 카드(evidence cards)로 변환하고, 과제별 평가를 사용하여 이후 롤아웃에 사용되는 컨텍스트를 조정한다. 구체적인 안내는 약한 정책이 어려운 과제를 완수하도록 돕는다. 정책이 개선됨에 따라 불필요한 컨텍스트는 명시적 안내에 대한 의존을 줄이면서 유용한 롤아웃 변이를 보존하도록 수정되거나 제거된다. 정책은 표준 RLVR을 사용하여 환경 보상으로 최적화되며, 학습 스캐폴드는 배포 시 폐기된다. ALFWorld와 WebShop에서 Pats는 강력한 기준선 대비 최대 18.6% 개선을 달성한다. 7개의 검색-증강 QA 벤치마크 전반에서 기준선보다 32.1% 적은 프롬프트 토큰을 사용하면서도 경쟁력을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.