arXiv:2609.26911v2 cs.AI

TwinCheck: 상태ful 도구 에이전트를 위한 증거 기반 네거티브 트윈 검증

TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents

Jiaxuan Dai, Tianyi Huang

제출 2026-09-24

저자 비고

arXiv Comments

Accepted at the NeurIPS 2026 Workshop Who Verifies the Agents? Toward Reliable Agent Development; Accepted at the NeurIPS 2026 Third Workshop on Agents in the Wild: Safety, Security, and Beyond

한국어 초록

국소적으로 그럴듯한 단일 도구 호출 하나만으로도, 그 외에는 성공적이었을 에이전트 궤적을 엉망으로 만들 수 있다. 대체 행위 자체가 검증이 막으려는 바로 그 실패를 유발할 수 있기 때문에, 의심만으로는 개입을 정당화하기 어렵다. 우리는 TwinCheck를 제안한다. 이는 추론 시점 검증 정책으로, 궤적이 궤적-국소 실패 가설에 묶인 증거 조건을 만족할 때에만 대체를 고려한다. 궤적에 근거한 반사실적 대안인 네거티브 트윈을 구성하고, 에이전트의 제안을 트윈이 구조적 검사를 통과하고 쌍wise 검증기가 두 후보 순서 모두에서 트윈을 선호할 때에만 대체한다. 쌍 평가를 위해 exact replay는 첫 번째 수용된 대체까지 에이전트의 파싱된 응답과 행동을 고정하여, 개입 효과를 재샘플링과 분리한다. 완전한 exact-replay 쌍을 갖춘 159개 다중 턴 BFCL V4 태스크에 대한 1차 분석에서, 완전 정책은 GPT-5.6 Sol의 태스크 성공률을 45.3%에서 58.5%로 높였다(95% 태스크 부트스트랩 CI [8.2, 18.8]), 성공에서 실패로의 퇴보는 관측되지 않았다. 이 결과들은 실행 경계 수리를 제약된 비교로 재구성하며, 반사실적 행동 자체를 검증의 대상으로 삼는다.

원문 초록

A single locally plausible tool call can derail an otherwise successful agent trajectory. Suspicion alone does not justify intervention, because the replacement itself can introduce the very failure verification is meant to prevent. We introduce TwinCheck, an inference-time verification policy that considers replacement only when the trace satisfies an evidence condition tied to a trace-local failure hypothesis. It constructs a trace-grounded counterfactual alternative, a negative twin, and replaces the agent's proposal only if the twin passes structural checks and the pairwise verifier prefers it in both candidate orders. For paired evaluation, exact replay holds the agent's parsed responses and actions fixed until the first accepted replacement, separating intervention effects from resampling. In the primary analysis of 159 multi-turn BFCL V4 tasks with complete exact-replay pairs, the complete policy raises task success for GPT-5.6 Sol from 45.3% to 58.5% (95% task-bootstrap CI [8.2, 18.8]), with no observed success-to-failure regressions. Together, these findings recast execution-boundary repair as a constrained comparison, making the counterfactual action itself the object of verification.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26911v2
  2. arXiv:2609.26911v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.09547v3cs.CV공통 태그 counterfactual

스트리밍 개입: 비디오 대규모 언어 모델은 실수가 발생할 때 이를 수정할 수 있는가?

Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.

arXiv:2606.26969v2cs.AI공통 태그 counterfactual

Einstein World Models

Einstein World Models

지능은 직접적인 경험을 넘어서는 현상에 대해 추론할 수 있는 능력을 필요로 하는가? 일부 복잡한 사고는 언어만으로는 포착할 수 없다고 의심하는 것은 자연스럽다. 그러나 본 연구가 특히 관심을 두는 것은, 반사실적(counterfactual) 사건을 시각화하는 것이 복잡한 사고의 메커니즘으로서 언어를 보완할 수 있는지 여부이다. 우리는 대규모 언어 모델(LLM)이 이러한 시각화 메커니즘을 활용하도록 학습될 수 있으며, 그 방식이 추론 능력 향상에 도움이 되는지 묻는다. 이 질문에서 영감을 받아, 우리는 Einstein World Models를 제안한다. EWM은 시각-시간적 롤아웃을 추론 trace 안에 배치하는 LLM 기반 추론 시스템의 청사진(blueprint)으로, 텍스트만으로는 잘 지원하지 못할 수 있는 방식으로 추론할 수 있게 한다. EWM에서 LLM은 검토 중인 장면에 대한 짧은 롤아웃을 생성하기 위해 world-module(월드 모델(world model)과 혼동하지 말 것)을 호출한다. 반환된 롤아웃은 답이 아니라, 이후 추론을 지원할 수 있는 검사 가능한 가설(hypothesis)로 취급된다. Einstein World Models는 LLM의 도구 호출(tool calling) 능력(예: 웹 검색 또는 코드 실행)을 시각적 사고 실험(thought experiment) 영역으로 확장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.