x.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2608.06352v2cs.LG

CalibForge: 학습 가능한 터미널 태스크 확장을 위한 적대적 솔버 캘리브레이션

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

Training terminal agents requires executable and verifiable tasks that are not merely solvable, but appropriately challenging for learning. Executable validation establishes feasibility, yet does not reveal how a task behaves relative to a given solver setting. In this paper, we present CalibForge, an autonomous terminal-task synthesis system that uses verified solver behavior to revise candidate tasks through adversarial solver calibration. Multi-solver calibration targets disagreement within a heterogeneous solver pool, whereas contrastive solver calibration targets a designated strong-pass/weak-fail relation; both operationalize a solver-relative learnable zone anchored in demonstrated solvability. Using CalibForge, we construct 5,431 calibrated terminal tasks. Our ablations show that both strategies yield more effective supervision than authoring and validation alone or ordinary single-solver feedback. Models trained on the full collection achieve 31.84% and 47.57% on Terminal-Bench 2.1. The largest improvements over the corresponding base model reach 23.97 percentage points on Terminal-Bench 2.1, 26.54 points on SWE-bench Pro, and 30.04 points on Doc2Repo. Together, these results support solver-relative learnability as a practical target for constructing effective and transferable agent training data.

arXiv:2604.01375v4cs.AI

루브릭 품질 이해와 강화를 위한 히치하이커 가이드

The Hitchhikers Guide to Rubric Quality Understanding and Enrichment

루브릭(rubric)은 전문가 수준의 품질에 대한 개념을 압축하고 에이전트(agent)의 성능을 측정합니다. 그러나 루브릭 자체의 품질은 체계적으로 측정되지 않았으며 종종 다운스트림 성능에 맡겨져 왔습니다. 본 연구에서는 정확히 이를 위해 고안된 측정 이론(measurement theory)의 도구 체계를 도입하여 루브릭의 내용에 기반한 정량적 신호를 도출하고, 신뢰도 및 내용 타당도를 기준으로 분류된 9가지 루브릭 실패 양상을 다루는 루브릭 실패 분류 체계(RIFT, RubrIc-Failure Taxonomy)를 소개합니다. 각 모드는 뚜렷한 특징적 징후(signature)를 남깁니다. 이러한 신호가 실패를 인과적으로 추적함을 보이기 위해, 저자들은 720개의 오류를 주입하여 알려진 심각도 수준으로 결함 없는 루브릭에 각 RIFT 모드를 주입했습니다. 해당 신호들에 대한 선형 탐침(linear probe)은 주입된 모드를 $75.0\%$의 정확도로 식별하여, 실패 요인을 직접 명시하도록 요청받은 프론티어 모델(frontier model)의 정확도 $56.7\%$를 앞섰습니다. 놀랍게도 GDPval 및 Terminal-Bench 전반에 걸쳐 전문가가 작성한 48개 루브릭 중 10개는 기준의 가중치를 거꾸로 두어, 전문가 패널이 덜 필수적이라고 판단한 요구사항에 더 많은 점수를 부여했습니다. 이는 응답이 가장 중요한 항목을 충족하지 못하더라도 여전히 좋은 평가를 받을 수 있음을 의미합니다. 본 논문은 품질 신호와 인과적 실험을 활용하여 루브릭의 실패 모드를 이해하고 더 개선된 버전을 제작하는 방법에 대한 종합적인 가이드 역할을 하며, 관련 규칙 및 예시와 함께 분류 체계를 제공합니다.