arXiv:2512.19905v3 cs.LG

LLM-as-a-judge의 베일을 벗기다: 추론 시간 스케일링을 위한 해석적으로 다루기 쉬운 모델

Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling

Indranil Halder, Cengiz Pehlevan

제출 2025-12-22

저자 비고

arXiv Comments

Published at International Conference on Machine Learning 2026

한국어 초록

최근 대규모 언어 모델(LLM)의 발전은 상당한 비중의 계산 자원을 학습 시간에서 추론(inference) 시간으로 재배치하는 데서 비롯되는 이점을 보여주었습니다. 그러나 추론 시간 스케일링(scaling)의 배후에 있는 원리는 아직 잘 이해되지 않았습니다. 본 논문에서는 LLM-as-a-judge 시나리오를 모델링하여, 선형 모델로부터 보상(reward)이 결정되는 보상 가중치 샘플러 기반의 베이즈 선형 회귀라는 추론 시간 스케일링의 해석적으로 다루기 쉬운 모델을 도입합니다. 우리는 결정론적 등가물(deterministic equivalents)이 사후 예측 평균과 분산에 대한 닫힌 형식 표현(closed-form expression)을 결정하는 고차원 영역에서 이 문제를 연구합니다. 교사 모델(teacher model)로부터 학습 데이터가 샘플링될 때의 일반화 오차를 분석합니다. 우리는 $k$개의 추론 시간 샘플을 추출하고 이차 보상에 적용된 온도(temperature)에서의 소프트맥스(softmax)를 통해 선택합니다. 보상이 교사 모델과 크게 다르지 않을 경우, 일반화 오차는 추론 시간 샘플 수 $k$가 증가함에 따라 단조 감소합니다. 그러나 추론 시간 선택을 최적화하는 특정 보상은 일반적으로 교사 모델과 다릅니다. 대조적으로, 보상 오지정(misspecification)이 상당할 경우 유한한 최적 $k$가 유도되며, 이를 넘어서는 추가 샘플링은 일반화 오차를 증가시킬 수 있습니다. 고정된 $k$에 대해 최적의 샘플링 온도가 존재합니다. 우리는 추가적인 대규모 언어 모델을 판정자(judge)로 사용하는 대규모 언어 모델 추론에서 이러한 사실들을 실험적으로 검증합니다. 교사 모델을 보상으로 사용하는 "best-of-$k$" 극한에서, 일반화 오차가 $Θ(1/k^2)$으로 감쇠함을 이론적으로 보이고 극값 이론(extreme value theory)을 통해 최고차 계수를 결정합니다. 이러한 공식들은 추론 시간 연산을 스케일링하는 것이 더 많은 데이터를 수집하는 것보다 증명 가능하게 유리한 영역을 명확히 보여줍니다. 마지막으로, 과제 난이도가 높아질수록 앞서 언급된 추론 시간 연산의 이점이 감소함을 입증합니다.

원문 초록

Recent developments in large language models have shown advantages in reallocating a notable share of computational resource from training time to inference time. However, the principles behind inference time scaling are not well understood. In this paper, we introduce an analytically tractable model of inference-time scaling: Bayesian linear regression with a reward-weighted sampler, where the reward is determined from a linear model, modeling LLM-as-a-judge scenario. We study this problem in the high-dimensional regime, where the deterministic equivalents dictate a closed-form expression for the posterior predictive mean and variance. We analyze the generalization error when training data are sampled from a teacher model. We draw $k$ inference-time samples and select via softmax at a temperature applied to a quadratic reward. When the reward is not too different from the teacher, the generalization error decreases monotonically with increasing inference time samples $k$. However, the specific reward that optimizes inference-time selection generally differs from the teacher. In contrast, substantial reward misspecification induces a finite optimal $k$ beyond which more sampling can increase the generalization error. For fixed $k$, there exists an optimal sampling temperature. We experimentally verify these facts in large language model inference with an additional large language model as a judge. In the "best-of-$k$" limit with the teacher as reward, we theoretically show that the generalization error decays as $Θ(1/k^2)$ and determine the leading coefficient via extreme value theory. These formulas delineate domains where scaling inference-time computation is provably preferable to collecting more data. Finally, we demonstrate that when task difficulty increases, the previously mentioned advantage of inference-time compute degrades.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.19905v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02330v1cs.AI공통 태그 Bayesian Inference, Large Language Model

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.02523v1cs.AI공통 태그 Bayesian Inference, Large Language Model

프로그램 개선을 통한 가설 유도 기반 인지 알고리즘 발견

Hypothesis-guided discovery of cognitive algorithms via program refinement

행동 데이터로부터 알고리즘적 추론에 대한 인지 모델(cognitive model)을 개발하는 것은 인지과학의 핵심 과제이며 기존 방식에 도전 과제를 제기합니다. 인지 모델링에 대한 전통적인 접근법은 해석 가능하고 인간의 전문 지식을 활용할 수 있지만 유연성과 확장성이 부족합니다. 대규모 언어 모델(LLM)을 활용하여 인지 모델을 새롭게 생성(de novo generation)하는 최신 기술들은 확장 가능하고 유연하지만, 인간의 전문 지식이 개입할 여지가 부족하며 주로 알고리즘 복원보다 단순한 과제에 적용되어 왔습니다. 본 연구에서는 인지 알고리즘 발견을 프로그램 개선(program refinement) 문제로 다루는 하이브리드 시스템을 제안합니다. 사람이 생성한 인지 모델을 확률적 프로그램으로 표현한 뒤, 모델과 행동 간의 불일치 식별, 연구자가 지정한 제약 조건 내에서의 코드 수준 수정안 제안, 구조적 충실도 검증의 역할을 맡은 LLM 에이전트 시스템에 제공합니다. 수정 사항은 잠재 변수에 대한 추론(inference) 및 데이터 가능도(likelihood) 계산을 수행하는 확률적 추론 모듈로 전달됩니다. 다양한 인지 알고리즘을 드러내는 문제 해결 패러다임 하에서 인간 행동을 바탕으로 본 파이프라인을 평가합니다. 개선된 모델들은 기존 조상 모델에 비해 모델 적합도를 일관되게 향상시키며, 본 과제에서 유의미한 행동 변동성을 포착하는 소수의 반복적인 혁신 요소를 밝혀냅니다.

arXiv:2610.00353v1cs.AI공통 태그 Bayesian Inference, Large Language Model

JusticeAxis: 엄격한 법률 적용과 근거 없는 재량 사이의 사법 판단 벤치마킹

JusticeAxis: Benchmarking Legal Judgment between Rigid Rule Application and Ungrounded Discretion

올바른 판결은 확정된 사실관계에 법을 적용하고, 그 사실이 발생한 제반 사정을 종합적으로 고려합니다. 그러나 기존 방법들은 엄격한 법조문 매칭과 근거 없는 재량 사이에서 방황하며, 벤치마크는 단일 라벨이나 루브릭만을 평가할 뿐 이러한 균형을 제공해야 할 경험은 검증되지 않은 채로 남아 있습니다. 본 연구에서는 사법 판단을 법률과 제반 사정 모두에 동시에 기반을 두는 단일 결정을 목표로 하는 참조 고정(reference-anchored) 태스크로 정식화합니다. 이를 위해 18개국의 오디오, 이미지, 텍스트 증거를 포함하는 256건의 실제 형사 사건과 각 사건마다 변호사가 작성한 세 가지 판결(기록된 실제 판결 및 두 가지 실패 유형별 판결 각 1건)로 구성된 JusticeAxis를 소개합니다. 나아가 사실관계를 확정하는 요소 에이전트(agent)들과 제반 사정에 대한 경험을 담은 스킬을 바탕으로 법을 적용하는 판사 에이전트로 구성된 프레임워크인 JusticeAgent를 제안합니다. 이러한 스킬은 실행 궤적으로부터 증류(distillation)되며 베이지안 신뢰 구간(Bayesian credible bounds) 하에서만 채택됩니다. 실험 결과에 따르면 실패 양상은 모델 규모(scale)에 따라 방향을 바꿉니다. 즉, 오픈 가중치(open-weight) 백본은 근거 없는 판단으로 편향되는 반면, 프론티어 모델은 법조문 기본값으로 편향됩니다. 또한 단순하면서도 효과적인 플러그인으로서 JusticeAgent가 고정된(frozen) 오픈 가중치 백본을 상용 수준까지 끌어올릴 수 있음을 검증했습니다. 프로젝트 리소스는 https://github.com/beita6969/JusticeAxis 에서 확인할 수 있습니다.

arXiv:2610.01509v1cs.AI공통 태그 Bayesian Inference, Large Language Model

사후 학습에서의 샤프닝 세금

Sharpening Tax in Post-Training

대규모 언어 모델(LLM)의 강화학습(RL) 사후 학습(post-training)에 관해 최근 떠오르는 가설은, 이것이 단지 베이스 모델의 기존 동작을 샤프닝(sharpening)하여 솔루션 커버리지를 희생하는 대신 단일 시도 정확도(single-shot accuracy)를 향상시킬 뿐이라는 점입니다. 이러한 상충 관계(trade-off)는 수학 및 코딩 과제에서 관찰되었으나, 멀티턴 도구 사용 및 상호작용을 위해 사후 학습 과정에서 새로 습득된 기능이 필요할 수 있는 에이전트(agent) 과제에까지 반드시 확장 적용될 필요는 없습니다. 본 연구의 놀라운 발견은 가벼운 추론(inference) 하네스를 갖춘 사전학습(pre-trained) LLM 또한 유능한 에이전트로 동작할 수 있다는 사실입니다. 훨씬 낮은 정확도(pass@1)에도 불구하고, 충분한 테스트 시간 예산이 주어지면 이들은 솔루션 커버리지(pass@K) 측면에서 종종 사후 학습된 대응 모델(post-trained counterparts)을 능가합니다. 더 나아가 기본 메커니즘을 분석하여 사후 학습이 과제를 '항상 해결됨' 또는 '전혀 해결되지 않음'이라는 두 극단으로 밀어붙이며, 이를 통해 솔루션 커버리지를 희생하면서 샘플링 효율성과 일관성을 개선한다는 점을 보여줍니다. 이러한 비용을 측정하기 위해, 사후 학습 후 테스트 시간 확장성(test-time scalability)의 손실(loss)을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안합니다. 4개 패밀리의 14개 베이스/사후 학습 모델(model) 쌍과 3개의 에이전트 벤치마크(총 42개 사례)에 걸쳐 평가한 결과, 이 세금은 대부분의 설정에서 만연하게 나타나며, 소수의 롤아웃만으로도 추정 가능하고 다른 지표들과도 잘 상관관계를 이룹니다. 마지막으로 프롬프트(prompt)별 샘플링 온도를 추정된 난이도에 맞게 적응시키는 간단한 플러그 앤 플레이 베이즈 샘플러인 후험 조정 그룹 샘플링(posterior-tempered group sampling, PTGS)을 제시합니다. 두 개의 에이전트 환경에서 RL 학습(training) 중에 적용했을 때, PTGS는 고정 온도 기준선(baseline)보다 더 적은 세금을 치르며, 단일 시도 정확도를 개선하는 동시에 반복 샘플링 조건에서 더 많은 과제를 해결합니다.

arXiv:2610.02975v2cs.AI공통 태그 Large Language Model

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.