모든 오류가 동일하지는 않다: 결과 인식 추론 연산 할당
Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation
한국어 초록
테스트 시점 연산(test-time compute)은 추론(inference) 시 대규모 언어 모델(LLM)의 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 할당 전략은 주로 난이도, 불확실성, 또는 예상 성능 향상에 따라 작업의 우선순위를 정하며, 이는 예측 오류의 비용이 모두 동일하다고 암묵적으로 간주합니다. 이러한 가정은 하위 작업에 따라 실패의 여파가 크게 달라질 수 있는 실제 배포 환경과 일치하지 않는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문은 추가 연산의 한계 이득과 함께 작업의 실패 결과(consequence)를 우선순위로 삼는 비용 가중 스케줄링 문제를 공식화하여 결과 인식(consequence-aware) 테스트 시점 연산 할당을 제안합니다. 그러나 실제로는 실행 전에 한계 이득을 예측하기 어렵기 때문에, 결과를 라우팅 신호로 사용하는 배포 가능한 스케줄러를 제안합니다. 이 스케줄러는 솔루션 도출 전 입력으로부터 작업 결과를 예측하고 상위 작업에 가용한 프리미엄 연산을 할당합니다. SWE-bench Lite에서의 실험은 결과가 작업 난이도를 넘어선 정보를 제공하며 문제 해결 전에 예측될 수 있음을 보여줍니다. 고정된 연산 예산 하에서 결과 인식 라우팅은 전반적인 정확도를 경쟁력 있게 유지하면서도 중대한 결과를 초래하는 작업에서 최고의 성공률을 달성합니다. 통제된 모델 내 실험은 추론 시도 횟수만 재할당할 때도 동일한 이점이 있음을 추가로 확인합니다.
원문 초록
Test-time compute has emerged as an effective paradigm for improving large language model capability at inference time. Existing allocation strategies primarily prioritize tasks according to difficulty, uncertainty, or expected performance gain, implicitly treating prediction errors as equally costly. This assumption is often misaligned with real deployment, where failures can differ substantially in their downstream tasks. To address this limitation, this paper introduces consequence-aware test-time compute allocation by formulating a cost-weighted scheduling problem where the priority of a task is its failure consequence with the marginal gain of additional compute. In practice, however, marginal gain is difficult to predict before execution, so we propose a deployable scheduler that uses consequence as the routing signal. The scheduler predicts task consequence from pre-solution inputs and allocates the available premium compute to the corresponding top-ranked tasks. Experiments on the SWE bench Lite show that consequence provides information beyond task difficulty and can be predicted before solving. Under a fixed compute budget, consequence-aware routing achieves the best high-consequence task success, while overall accuracy remains competitive. A controlled within-model experiment further confirms the same advantage when only inference attempts are reallocated.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다
The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.
Forethought: 신경기호 프리미티브 프로그래밍을 통한 검증 가능한 추론
Forethought: Verifiable Reasoning from Neurosymbolic Primitive Programming
모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구
Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution
SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.
Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
DeReAct: 신뢰할 수 있는 AI 에이전트를 위한 분해된 추론 및 행동
DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents
ReAct 기반 에이전트(agent)는 일반적으로 단일 대규모 언어 모델(LLM) 정책에 의존하여 행동을 제안하고, 환경(environment)과 상호작용하며, 작업 완료 시점을 결정합니다. 이러한 결합은 행동 권한 부여와 완료 제어를 독립적으로 적용하기 어렵게 만들어, 오류가 전파되고 근거 없는 완료 주장으로 인해 실행이 종료되도록 만듭니다. 본 논문에서는 두 가지 게이팅 정책을 외재화한 모듈형 에이전트 아키텍처인 DeReAct를 제안합니다: 실행 전 제안된 행동을 검증하는 비평가(Critic), 그리고 환경이 뒷받침하는 \textsc{State}를 재구성하고 작업 완료를 인증하는 컨텍스트 관리자(Context Manager)입니다. GAIA 및 SWE-bench Verified 전반에서 DeReAct는 상대적으로 취약한 Brain 모델에서 Pass@1을 가장 크게 향상시켜 Qwen3-Coder-480B의 경우 6.5--7.0 포인트, Claude Sonnet~4.5의 경우 4.2--5.2 포인트의 향상을 보였으며, Brain 역량이 증가함에 따라 향상 폭은 감소합니다. 궤적 및 어블레이션 분석 결과, 외부 게이팅은 목표로 하는 실패 사례가 충분히 빈번하고 게이팅 정책 자체가 충분할 때 효과적인 것으로 나타났습니다. Claude Opus~4.5의 경우 Pass@1은 ReAct와 비슷한 수준을 유지하지만, DeReAct는 증거가 더욱 완전하고 제약 조건을 더 잘 만족하는 궤적을 생성하며, 이는 완료 제어가 더 강력한 그라운딩(grounding)을 위해 조기 종료를 절충할 수 있음을 나타냅니다. 전반적으로 DeReAct는 취약한 에이전트를 개선하는 동시에 모델이 강화되더라도 그라운딩 이점을 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.