국소적으로 그럴듯한 단일 도구 호출 하나만으로도, 그 외에는 성공적이었을 에이전트 궤적을 엉망으로 만들 수 있다. 대체 행위 자체가 검증이 막으려는 바로 그 실패를 유발할 수 있기 때문에, 의심만으로는 개입을 정당화하기 어렵다. 우리는 TwinCheck를 제안한다. 이는 추론 시점 검증 정책으로, 궤적이 궤적-국소 실패 가설에 묶인 증거 조건을 만족할 때에만 대체를 고려한다. 궤적에 근거한 반사실적 대안인 네거티브 트윈을 구성하고, 에이전트의 제안을 트윈이 구조적 검사를 통과하고 쌍wise 검증기가 두 후보 순서 모두에서 트윈을 선호할 때에만 대체한다. 쌍 평가를 위해 exact replay는 첫 번째 수용된 대체까지 에이전트의 파싱된 응답과 행동을 고정하여, 개입 효과를 재샘플링과 분리한다. 완전한 exact-replay 쌍을 갖춘 159개 다중 턴 BFCL V4 태스크에 대한 1차 분석에서, 완전 정책은 GPT-5.6 Sol의 태스크 성공률을 45.3%에서 58.5%로 높였다(95% 태스크 부트스트랩 CI [8.2, 18.8]), 성공에서 실패로의 퇴보는 관측되지 않았다. 이 결과들은 실행 경계 수리를 제약된 비교로 재구성하며, 반사실적 행동 자체를 검증의 대상으로 삼는다.
에이전트가 단일 도구 시스템에서 모듈형 복합 아키텍처로 진화함에 따라, 스킬은 능력 개발 및 배포를 위한 중요한 메커니즘이 되고 있습니다. 그러나 학계에는 스킬을 체계적으로 분석하고 평가하기 위한 구조화된 프레임워크가 부족합니다. 본 연구에서는 정보 획득(information gain)과 행동 제약(behavioral constraint)에 기반하여 4차원 MCRI 프레임워크를 제안하고, 이를 대규모 언어 모델(LLM) 기반 평가 방법인 MCRI-Eval로 구체화합니다. 우리는 OpenClaw 스킬 허브의 63,812개 공개 스킬과 BigCodeBench, BFCL-Fundamental, Mind2Web에 걸친 58,275회의 스킬 조건부 모델 실행을 활용하여 MCRI-Eval을 평가합니다. MCRI-Eval 점수는 커뮤니티 인기도 신호와 양의 상관관계를 보이며, 평가된 방법 중 가장 높은 다운스트림 순위 일치도를 달성합니다. 또한 MCRI-Eval은 세 벤치마크 모두에서 top-1 스킬 선택 능력을 향상시킵니다. 각 벤치마크의 가장 강력한 기준선과 비교했을 때, MCRI-Eval이 선택한 스킬은 BigCodeBench, BFCL-Fundamental, Mind2Web에서 다운스트림 성능 순위가 각각 17.7, 22.8, 19.6 백분위수 포인트 상승했습니다. 이러한 결과는 MCRI-Eval이 비용이 많이 드는 실행 기반 평가를 수행하기 전에 유망한 스킬의 우선순위를 정할 수 있는 유용한 사전 실행 신호를 제공함을 보여줍니다.
언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.