국소적으로 그럴듯한 단일 도구 호출 하나만으로도, 그 외에는 성공적이었을 에이전트 궤적을 엉망으로 만들 수 있다. 대체 행위 자체가 검증이 막으려는 바로 그 실패를 유발할 수 있기 때문에, 의심만으로는 개입을 정당화하기 어렵다. 우리는 TwinCheck를 제안한다. 이는 추론 시점 검증 정책으로, 궤적이 궤적-국소 실패 가설에 묶인 증거 조건을 만족할 때에만 대체를 고려한다. 궤적에 근거한 반사실적 대안인 네거티브 트윈을 구성하고, 에이전트의 제안을 트윈이 구조적 검사를 통과하고 쌍wise 검증기가 두 후보 순서 모두에서 트윈을 선호할 때에만 대체한다. 쌍 평가를 위해 exact replay는 첫 번째 수용된 대체까지 에이전트의 파싱된 응답과 행동을 고정하여, 개입 효과를 재샘플링과 분리한다. 완전한 exact-replay 쌍을 갖춘 159개 다중 턴 BFCL V4 태스크에 대한 1차 분석에서, 완전 정책은 GPT-5.6 Sol의 태스크 성공률을 45.3%에서 58.5%로 높였다(95% 태스크 부트스트랩 CI [8.2, 18.8]), 성공에서 실패로의 퇴보는 관측되지 않았다. 이 결과들은 실행 경계 수리를 제약된 비교로 재구성하며, 반사실적 행동 자체를 검증의 대상으로 삼는다.
에이전트가 단일 도구 시스템에서 모듈형 복합 아키텍처로 진화함에 따라, 스킬은 능력 개발 및 배포를 위한 중요한 메커니즘이 되고 있습니다. 그러나 학계에는 스킬을 체계적으로 분석하고 평가하기 위한 구조화된 프레임워크가 부족합니다. 본 연구에서는 정보 획득(information gain)과 행동 제약(behavioral constraint)에 기반하여 4차원 MCRI 프레임워크를 제안하고, 이를 대규모 언어 모델(LLM) 기반 평가 방법인 MCRI-Eval로 구체화합니다. 우리는 OpenClaw 스킬 허브의 63,812개 공개 스킬과 BigCodeBench, BFCL-Fundamental, Mind2Web에 걸친 58,275회의 스킬 조건부 모델 실행을 활용하여 MCRI-Eval을 평가합니다. MCRI-Eval 점수는 커뮤니티 인기도 신호와 양의 상관관계를 보이며, 평가된 방법 중 가장 높은 다운스트림 순위 일치도를 달성합니다. 또한 MCRI-Eval은 세 벤치마크 모두에서 top-1 스킬 선택 능력을 향상시킵니다. 각 벤치마크의 가장 강력한 기준선과 비교했을 때, MCRI-Eval이 선택한 스킬은 BigCodeBench, BFCL-Fundamental, Mind2Web에서 다운스트림 성능 순위가 각각 17.7, 22.8, 19.6 백분위수 포인트 상승했습니다. 이러한 결과는 MCRI-Eval이 비용이 많이 드는 실행 기반 평가를 수행하기 전에 유망한 스킬의 우선순위를 정할 수 있는 유용한 사전 실행 신호를 제공함을 보여줍니다.
언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.
Cohere와 LG CNS가 공동 개발한 111B 파라미터 하이브리드 추론 모델 LuckyStar 111B는 새로운 사전학습 없이 Command A를 기반으로 다국어 SFT, 검증 가능한 보상을 활용한 강화학습(RLVR), 언어 일관성 보상, 4비트 양자화를 결합해 한국어-영어 기업용 에이전트 환경에 적응시켰다. 영어로 추론하고 한국어로 최종 답변을 생성하는 혼합 언어 전략을 통해 수학적 추론, 함수 호출, NL2SQL 성능을 크게 향상시키면서도 단일 GPU 서빙이 가능한 메모리 효율을 달성했다.