arXiv:2609.23808v2 cs.CL

FLARE: 생성형 보상 모델을 통한 장기 호라izon 코딩 에이전트를 위한 전 수명주기 밀집 감독 패러다임

FLARE: A Full-Lifecycle Dense Supervision Paradigm for Long-Horizon Coding Agents via Generative Reward Model

Jingxuan Xu, Gang Wu, Yanan Wu, Yutao Mou, Songwei Yu, Tianzhuang He, Zhengshuo Gong, Zhao Liu, Zihang Xu, Wenqiang Zhu, Xinping Lei, Weihao Li, Ziqi Miao, Yuhui Bai, Zhongqiu Wang 외 2명

제출 2026-09-22

한국어 초록

테스트 시점 스케일링(test-time scaling)은 장기(long-horizon) 소프트웨어 엔지니어링(SWE)에서 대규모 언어 모델(LLM) 에이전트를 향상시키지만, 희소 이진 보상(Pass/Fail)은 심각한 공로 할당(credit assignment) 위기를 일으키고 실패한 탐색 궤적을 낭비한다. 현재의 궤적 최적화 및 스케일링 방법은 인과 진단 없이 휴리스틱 상태 재사용에, 실행 가능한 온라인 가이던스 없이 지연된 스칼라 채점에 의존하여 비용이 크고 구조적으로 제한적이다. 우리는 경량 생성형 보상 모델(GRM)이 구동하는 새로운 밀집 감독 패러다임인 FLARE(Full-Lifecycle Alignment and Reward Engine)를 제안한다. 첫째, 오프라인 인과 인식 진단 프레임워크인 RADAR는 인과 사슬 역추적(causal-chain backtracking)을 통해 사후 지식 없는(hindsight-free) 고충실도 감독을 추출하여 실시간 단계 수준 위험 피드백을 제공하는 GRM을 증류(distill)한다. 둘째, FLARE는 이 GRM을 사용하여 에이전트 전 수명주기에 걸쳐 지속적으로 최적화한다. 추론 중 FLARE는 Active Scaffold로 작동하여 고위험 생성 단계를 자율적으로 가로채 국소적 중단점(breakpoint) 재실행을 수행함으로써 연산 오버헤드를 대폭 줄인다. 사후 학습 동안 GRM의 구조화된 신호는 지도 미세조정(SFT)을 위한 프로세스 감독 재순위 점수와 강화학습(RL)을 위한 단계 수준 밀집 보상으로 기능하여 희소 환경에서 정책 붕괴(policy collapse)를 완화한다. 광범위한 평가 결과 FLARE는 에이전트 수명주기 전반에 새로운 파레토 프론tier를 수립한다: FLARE(N=1)는 토큰 소비를 5배 줄이면서 Global Rollout(N=5)을 능가한다. FLARE를 학습으로 확장하면 장기 상호작용 과제에서 희소 보상 문제를 극복하며, 프로세스 인식 데이터 큐레이션을 통해 SFT에서 19.13%의 상대 성능 향상과 RL에서 지속적인 9.19% 개선을 달성한다.

원문 초록

While test-time scaling enhances Large Language Model (LLM) agents in long-horizon software engineering (SWE), sparse binary rewards (Pass/Fail) create a severe credit assignment crisis and waste failed exploratory trajectories. Current trajectory optimization and scaling methods are costly and structurally limited, relying on heuristic state reuse without causal diagnosis or delayed scalar scoring without actionable online guidance. We propose FLARE (Full-Lifecycle Alignment and Reward Engine), a novel dense supervision paradigm driven by a lightweight Generative Reward Model (GRM). First, RADAR, an offline causal-aware diagnostic framework, extracts high-fidelity, hindsight-free supervision through causal-chain backtracking to distill a GRM providing real-time, step-level risk feedback. Second, FLARE uses this GRM to continuously optimize the agent across its entire lifecycle. During inference, FLARE acts as an Active Scaffold, autonomously intercepting high-risk generation steps for localized breakpoint re-execution, drastically reducing compute overhead. During post-training, the GRM's structured signals serve as process-supervised reranking scores for Supervised Fine-Tuning (SFT) and step-level dense rewards for Reinforcement Learning (RL), mitigating policy collapse in sparse environments. Extensive evaluations show that FLARE establishes a new Pareto frontier across the agent lifecycle: FLARE (N=1) outperforms Global Rollout (N=5) with a 5x reduction in token consumption. Extending FLARE to training overcomes the sparse reward problem in long-horizon interactive tasks, delivering relative performance gains of 19.13% in SFT through process-aware data curation and a consistent 9.19% improvement in RL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23808v2제출 시각 미확인
  2. arXiv:2609.23808v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.