PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26911v2cs.AI

TwinCheck: 상태ful 도구 에이전트를 위한 증거 기반 네거티브 트윈 검증

TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents

국소적으로 그럴듯한 단일 도구 호출 하나만으로도, 그 외에는 성공적이었을 에이전트 궤적을 엉망으로 만들 수 있다. 대체 행위 자체가 검증이 막으려는 바로 그 실패를 유발할 수 있기 때문에, 의심만으로는 개입을 정당화하기 어렵다. 우리는 TwinCheck를 제안한다. 이는 추론 시점 검증 정책으로, 궤적이 궤적-국소 실패 가설에 묶인 증거 조건을 만족할 때에만 대체를 고려한다. 궤적에 근거한 반사실적 대안인 네거티브 트윈을 구성하고, 에이전트의 제안을 트윈이 구조적 검사를 통과하고 쌍wise 검증기가 두 후보 순서 모두에서 트윈을 선호할 때에만 대체한다. 쌍 평가를 위해 exact replay는 첫 번째 수용된 대체까지 에이전트의 파싱된 응답과 행동을 고정하여, 개입 효과를 재샘플링과 분리한다. 완전한 exact-replay 쌍을 갖춘 159개 다중 턴 BFCL V4 태스크에 대한 1차 분석에서, 완전 정책은 GPT-5.6 Sol의 태스크 성공률을 45.3%에서 58.5%로 높였다(95% 태스크 부트스트랩 CI [8.2, 18.8]), 성공에서 실패로의 퇴보는 관측되지 않았다. 이 결과들은 실행 경계 수리를 제약된 비교로 재구성하며, 반사실적 행동 자체를 검증의 대상으로 삼는다.

arXiv:2610.01348v1cs.AI

점수가 아닌 주장을 검증하라: 모듈형 에이전트의 증거 기반 검증

Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents

개발자가 제어기, 학습된 모델, 검증기(verifier)와 같은 에이전트의 한 구성 요소를 변경할 때, 대개 종합 작업 점수로 그 변경을 평가한다. 그러나 해당 점수로는 개선이 달성 가능했는지, 어떤 구성 요소에서 가치가 손실되었는지, 또는 에이전트 자체의 점검이 무엇을 보증하는지 알 수 없다. 본 연구에서는 계획, 행동, 점검, 개선을 수행하는 모듈형 에이전트를 위한 주장별 검증 감사(claim-specific verification audit)를 도입한다. 이 감사는 에이전트를 점수화하는 대신 증거를 평가한다. 즉, 각 결론은 그 이면의 증거, 4가지 판정(지지됨, 지지되지 않음, 미해결, 평가되지 않음) 중 하나, 그리고 그것이 성립하는 경계와 함께 기록된다. 세 가지 도구가 이러한 증거를 제공한다. 오라클 정책(oracle policies)은 명시적으로 명시된 행동 집합 하에서 달성 가능한 개선을 측정하여, 낮은 가치가 환경이 아닌 평가 때문임을 추적할 수 있도록 한다. 구성 요소를 한 번에 하나씩 완벽한 대응물로 교체하여 손실된 가치를 찾아내며, 다운스트림 구성 요소가 이를 가릴 수 있을 때마다 널(null) 결과는 미해결로 판정된다. 별도의 테스트에서는 검증기의 점수가 그것이 한정하는 것으로 간주되는 수량을 실제로 식별하는지 묻는다. 숨겨진 체제(regimes)가 알려진 합성 시장 내 제약된 포트폴리오 배분 에이전트에 적용한 결과, 본 감사는 완벽한 체제 정보의 가치가 이를 측정하는 데 사용된 행동 집합에 따라 달라진다는 점, 시나리오 생성기가 체제 신호의 대부분을 폐기하는 반면 더 나은 국소적 충실도(local fidelity)가 의사결정을 향상시키지 않는다는 점, 그리고 결과에 눈에 띄는 변화 없이 런타임 검증기를 우회할 수 있음을 보여준다. 본 연구의 기여는 프로토콜과 그것이 강제하는 증거적 구분이며, 실증적 연구 결과는 연구된 에이전트 및 환경에 한정된다.

arXiv:2607.24300v1cs.CL

휴리스틱 자기 개선 에이전트에서 자가 작성 검증은 신뢰할 수 없다

Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents

자기 개선 에이전트는 절차적 정책, 컨트롤러, 또는 휴리스틱 규칙을 반복적으로 재작성함으로써 능력을 축적한다. 이들은 일반적으로 이후 편집을 수용할지 여부를 결정하기 위해 자가 작성 테스트 또는 지표에 의존한다. 에이전트는 최적화 대상과 그 검증자 모두를 통제한다. 그 결과, 실제 배포 성능이 저하되거나 낮은 수준에 머무르는 동안에도 자가 부여 점수는 거의 완벽한 수준을 유지할 수 있다. 우리는 검증자-배포 간극(verifier--deployment gap)을 통해 이 문제를 연구한다. 이 간극은 에이전트의 자가 작성 검증 신호와 에이전트가 관찰하거나 접근할 수 없는 봉인된 배포 평가 간의 불일치를 가리킨다. 우리는 반복적인 정책-및-테스트 재작성 하에서 자가 작성 검증이 어떻게 실패하는지, 능력에 따라 실패가 어떻게 변하는지, 그리고 실제 회귀가 배포되는 것을 방지하기 위해 얼마나 적은 외생적(exogenous) 신뢰가 충분한지 묻는다. 이 문제를 해결하기 위해 우리는 Sealed Exogenous Acceptance Loop(SEAL)을 도입한다. SEAL은 자가 작성 테스트를 유지하지만, 각 후보를 현행(incumbent) 상태와 고정된 하네스 측 감사(audit)를 통해 비교한다. 에이전트는 감사를 작성하거나 검사할 수 없으며, 수락/거부만 받고, 명확한 회귀 이후에는 전체 현행 상태가 보존된다. 우리의 실험은 이 문제가 휴리스틱 학습 설정에서 자주 나타남을 보여준다. 이러한 설정은 목표 목적 함수의 시행착오적 발견을 요구한다. 우리는 또한 자가 작성 검증의 실패가 능력에 따라 계층화(stratified)됨을 발견한다. 더 약한 에이전트는 쉬운 자가 테스트 뒤에 이전에 습득한 전략을 손상시키는 경향이 있다. 더 강한 에이전트는 더 안정적이지만, 여전히 배포 분포를 잘못 측정한다. 표준 자가 작성 제약은 이 간극을 신뢰할 수 있게 메우지 못한다. 대조적으로, SEAL은 여섯 개 모델과 세 개의 무작위 시드에서 보호되지 않은 기준선(baseline)들을 능가한다. 신뢰할 수 있는 자기 개선은 자가 검증을 포기할 필요가 없지만, 에이전트의 통제 밖에 있는 적어도 하나의 배포 수락 신호를 요구한다.

arXiv:2606.21777v1cs.CL

CalVerT: 보정된 검증기 텔레메트리를 통한 에이전트 보강이 지식 집약적 작업에서 행동과 학습을 개선한다

CalVerT: Augmenting Agents with Calibrated Verifier Telemetry Improves Action and Learning in Knowledge-Intensive Tasks

지식 집약적 QA에서 LLM 에이전트가 답변의 불확실성·근거 부족·완결 여부를 판단하지 못해 근거 없는 확신과 과도한 검색이 발생하는 문제를, 보정된 자기 확신 점수와 그라운딩 검증기 점수로 에이전트 상태를 보강하는 CalVerT로 해결한다. 네 가지 QA 벤치마크에서 파라미터 지식 과의존 시 검색을 유도하고 중복 검색을 줄여 F1을 높이며, 무학습·강화학습 기반 설정 모두에서 기존 QA 프레임워크 성능을 개선한다.

arXiv:2606.11688v1cs.CL

Goal-Autopilot: 무인 장기 호라이즌 에이전트를 위한 검증 가능한 위조 방지 방화벽

Goal-Autopilot: A Verifiable Anti-Fabrication Firewall for Unattended Long-Horizon Agents

장기 호라이즌 LLM 에이전트는 무인 실행을 신뢰받지 못합니다. 인간의 감시가 없으면, 에이전트는 검증하지 않은 성공을 자신 있게 보고하기 때문입니다. 우리는 정직성(종료 시 에이전트가 주장할 수 있는 내용을 제한하는 것)을 능력과는 구별되는 무인 자율성을 위한 일급 지표로 간주합니다. 우리는 은밀한 위조된 성공을 단순히 더 드물게 만드는 것이 아니라 구조적으로 불가능하게 만드는 실행 모델인 Autopilot을 제시합니다. Autopilot은 모든 작업 상태를 지속적이고 게이트가 부착된 유한 상태 머신으로 외부화하며, 스케줄러가 한 번에 하나의 무상태 틱(tick)씩 진행합니다. 엄격한 하한선은 실제로 실행되고 통과하지 않은 반증 가능한 게이트가 있는 최종 "완료" 주장을 금지합니다. 우리는 No-False-Success 정리(게이트 건전성, 하한선 강제, 계획 커버리지 조건 하에서 종료는 목표 달성을 의미함)를 증명합니다. 이 정리의 유일한 신뢰 지점은 경험적으로 측정 가능하며, 최악의 경우는 정직한 정지(stall)로 저하되고 결코 위조된 성공이 아님을 보여줍니다. 각 틱은 상태 머신만 복원하기 때문에, 단계별 컨텍스트 비용은 호라이즌 길이에 상관없이 일정합니다. 3,150개 셀의 짝지어진 말뭉치(70개 작업 x 3개 시스템 x 3개 모델 x 5개 시드, 11개 OSS 저장소에 걸친 50개 SWE-bench Lite 작업 포함)에서, Autopilot은 0.95%의 셀 [95% CI 0.38--1.62]에서 위조하는 반면, Reflexion 및 StateFlow 기준 모델은 각각 8.10% [6.48--9.81] 및 25.05% [22.48--27.62]에서 위조합니다. 가장 두드러지는 대비는 어려운 영역에서 나타납니다. SWE-bench Lite에서 방화벽은 위조를 33.7% (StateFlow)에서 0.67%로 줄였으며, 이는 짝지어진 차이 $-33.07$ pp [95% CI $-36.53, -29.73$]입니다. 메커니즘은 모델이 아니라 게이트입니다. Autopilot의 10건의 모든 위조는 가장 강력한 모델에서 발생했으며, 두 개의 더 약한 중간 티어 모델은 700개의 짝지어진 셀에서 결코 위조하지 않았습니다. 방화벽은 설계상 정직성을 위해 커버리지를 희생합니다. 정직한 정지는 복구 가능하지만, 하류로 전송된 자신감 있는 잘못된 출력은 그렇지 않습니다.