Modern agentic workflows decompose user requests into sequences of tool calls with correctly resolved parameters, the results of which are processed through reasoning traces in the language model's context window. The prevailing route to improving such reasoning is test-time scaling, which trains models to search over long chains of thought; but the resulting capability is entangled in model weights, cannot be checked step by step, and is costly at inference. We present Forethought, a neurosymbolic reasoning system built from a library of symbolic and neural primitives composed through a typed domain-specific language. The results are reasoning programs: concrete representations of the model's work, in which every step carries an output contract that is checked at design time and enforced at execution time. Symbolic steps hold by construction, while learned steps are contract-checked and empirically validated, giving an explicit boundary between what is guaranteed and what is measured. Instantiated as a tool-calling execution kernel and evaluated on four standard tool-calling benchmark suites, Forethought improves end-to-end accuracy by a median of 32% relative to prompting the same base model directly, and reaches the highest aggregate accuracy among the evaluated configurations, though only by a margin within single-run noise over a frontier model. Systems pairing small open models with Forethought's fixed small-model layer match that frontier model, and a pipeline with a non-reasoning responder outperforms its reasoning sibling while requiring only a single fine-tuning stage. Removing the contract-and-control layer erases most of these gains, showing that checked structure, not decomposition alone, drives the improvement. Our results show the potential of rich symbolic orchestrators for building language-model agents that are more accurate, reliable, and auditable.
언어만으로는 어려운 복잡한 추론에 반사실적 장면의 시각화가 보완 역할을 할 수 있는지 검토하며, 추론 trace 중 world-module을 호출해 짧은 시각-시간적 롤아웃을 생성·통합하는 Einstein World Models(EWM)를 제안한다. EWM은 반환된 롤아웃을 최종 답이 아닌 검사 가능한 가설로 취급하고, 웹 검색·코드 실행과 같은 LLM의 도구 호출을 시각적 사고 실험 영역으로 확장하는 추론 시스템의 청사진이다.
도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.
본 논문에서는 오픈 가중치(open-weight) 기반 파운데이션 모델인 Nemotron-3-Super-120B를 GRPO(Group Relative Policy Optimization) 기반의 강화학습(RL)으로 사후 학습(post-training)하고, 실제 프로덕션 적용을 위해 FP8로 배포한 엔터프라이즈 언어 모델인 Salesforce Koa를 제시합니다. Koa는 공개 데이터 및 합성 생성 데이터만을 활용하여 학습되었으며, 요청을 올바른 액션으로 라우팅하고, 유효한 인자(argument)를 갖추어 적절한 도구를 호출하며, 멀티턴(multi-turn) 비즈니스 태스크를 완료하는 등 엔터프라이즈 워크플로우에서 요구하는 에이전트 도구 사용에 특화되어 있습니다. 제안하는 파이프라인의 핵심적 차별점은 명세 기반 태스크 구성(specification-driven task construction)입니다. 선언적 Agent Script 명세는 페르소나 조건화 멀티턴 환경으로 확장되며, 이 환경의 보상은 성공적인 도구 사용에 그라운딩(grounding)됩니다. 엔터프라이즈 CRM 명세에 적용된 이 동일한 파이프라인은 Koa가 특화된 도메인 내(in-domain) 학습 분포를 생성합니다. CRMAgentBench 및 인간 라벨링 기반 프로덕션 도구 호출 데이터셋 평가에서 Koa는 튜닝되지 않은 오픈 가중치 베이스 모델과 GPT-4.1을 모두 능가하며, 가장 강력한 프론티어 모델들과 대등한 성능을 보입니다. Koa는 CRMAgentBench에서 87%의 태스크 성공률(Task Success Rate)을 달성하여 GPT-4.1(82%)과 베이스 모델(79%)을 앞섰으며, 내부 프로덕션 벤치마크의 인간 라벨링 평가 부분에서 모든 지표 최상위권 혹은 정상급 성능을 기록하는 한편, 공개 벤치마크(Tau2Bench, BFCL)에서도 베이스 모델의 일반적인 성능을 유지했습니다. 모델 아키텍처와 강화학습 레시피를 고정한 통제 비교 분석을 통해, 도메인 내 강화학습 단계 추가가 인간 라벨링 기반 엔터프라이즈 벤치마크에서 인자 정확도(argument accuracy)와 전체 도구 호출 성공률을 향상함을 입증했습니다.
대규모 언어 모델(LLM) 에이전트(agent)는 도구 호출을 통해 실제 환경에서 행동하며, 단 한 번의 잘못된 판단으로 인한 행동도 비가역적인 피해를 초래할 수 있습니다. 표준적인 안전장치는 제안된 각 행동을 안전함(safe) 또는 위험함(unsafe)으로 분류하는 가드 모델(guard model)이지만, 이러한 이분법적 관점은 행동 자체가 유해한지 여부와 사용자의 문맥을 고려했을 때 적절한지 여부라는 두 가지 별개의 결정을 혼동합니다. 또한 개별 인스턴스가 아닌 행동 범주 수준의 단위로 작동하므로, 자율성을 저해하고 사용자가 가장 중대한 경고조차 무심코 승인하도록 유도하는 일상적인 개입을 유발합니다. 본 연구에서는 이 문제를 {EXECUTE, ASK, REFUSE}에 대한 인스턴스별 3방향 라우팅 결정으로 재정의하고, 단 한 번의 디코딩 호출로 추론(inference)이 수행되는 경량 가드 모델인 Safety Sentry로 이를 구현합니다. 단일 디코딩 시점 임계값을 통해 재학습 없이도 위험 감수 수준이 서로 다른 다양한 배포 환경에 맞춰 하나의 고정된 체크포인트(checkpoint)를 재배치할 수 있습니다. Safety Sentry는 전반적인 정확도와 안전 관련 재현율(recall) 면에서 광범위한 공개 가중치(open-weight) 모델 및 프론티어 독점 폐쇄형(closed-source) 베이스라인보다 우수한 성능을 보이면서, 양방향 오류율을 동시에 제어합니다. 코드와 데이터는 https://github.com/safesentry/SAFETY-SENTRY 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 에이전트는 도구가 전혀 필요하지 않은 상황에서도 도구를 호출하는 등 일관되게 과도 호출(over-call)하는 경향을 보입니다. When2Call 벤치마크에서 3개 패밀리의 6개 모델은 높은 호출 정확도를 보이지만 미호출(no-call) 정확도는 훨씬 낮아, 전반적인 정확도는 55%~70% 범위에 머물렀습니다. 우리는 이를 내재적 바이어스 가설(Intrinsic Bias Hypothesis, IBH)로 추적합니다. 즉, 호출/미호출 결정 매핑에 활성화와 무관한 호출 오프셋(offset)이 수반되어, 활성화가 동등한 상태에서도 모델이 호출을 선호한다는 것입니다. 우리는 희소 오토인코더(SAE)를 사용하여 호출/미호출 결정에 부합하는 행동 정렬 특징 기저를 복원하고, 이를 부호가 있는 활성화 마진으로 축소한 뒤 오프셋을 직접 추정합니다. 6개 모델 전체에서 모델은 미호출 활성화가 호출 활성화를 압도할 때만 결정 중립적이었으며, 이는 IBH와 일치합니다. 그런 다음 우리는 SAE 디코더 방향을 따라 닫힌 형식(closed-form)의 바이어스 상쇄 시프트를 적용하는 적응형 마진 보정 스티어링(AMCS)을 통해 IBH를 인과적으로 검증합니다. 진단된 오프셋을 상쇄하면 호출 정확도의 하락을 최소화하면서도 과도 호출이 완화되고 전반적인 정확도가 향상됩니다. 본 연구는 과도 호출을 단순한 경험적 현상에서 인과적 교정이 가능한 기계론적 대상(mechanistic object)으로 재구성합니다. 코드는 https://github.com/SKURA502/agent-sae/ 에서 확인할 수 있습니다.
도구를 장착한 AI 에이전트는 도구 호출을 사용하여 데이터에 접근하고 외부 시스템에 조치를 취합니다. 에이전트 시스템의 수평적 성장은 이러한 상호작용의 수를 증가시키며, 짧은 지연 시간(latency) 및/또는 온프레미스(on-prem) 환경에서 작동할 수 있는 호출 단위의 자동화된 감독 필요성을 더욱 강화합니다. 기존의 권한 부여 방식은 에이전트의 도구 호출 허용 여부를 결정할 수는 있지만, 도구 선택이 태스크의 의도를 충족하기 위한 논리적이고 유의미한 단계인지 여부와 같은 에이전트의 기저 인지(cognition)를 평가하지는 못합니다. 결과적으로 허용된 호출이라 하더라도 태스크의 의도에서 벗어날 수 있습니다. 악성 에이전트가 호출을 왜곡하거나 다른 에이전트를 유도하여 태스크의 의도와 일치하지 않는 일련의 호출을 수행하도록 만들 수 있습니다. 따라서 모든 호출에 대한 검증이 필요합니다. 본 연구에서는 이러한 목적을 위한 소형 언어 모델(SLM)의 적용 가능성을 조사합니다. SLM은 할당된 태스크에 대해 선택된 각 도구를 독립적으로 평가하고 다운스트림 집행을 위한 관련성 신호를 반환하는 태스크-도구 관련성 분류기 역할을 수행합니다. 필요한 도구들이 서로 다른 모델 컨텍스트 프로토콜(MCP) 서버들에 걸쳐 있는 다중 도구 태스크를 포함하는 새로운 데이터셋을 기반으로, 본 연구는 프롬프트 최적화, 지도 미세조정(supervised fine-tuning), 그리고 GRPO를 통한 강화학습을 활용하여 SLM을 최적화하고 특화했습니다.
문맥 기반 보안 방어(contextual security defense)는 작업별 정책을 합성하고 이를 에이전트의 도구 호출에 적용함으로써 AI 에이전트(agent)가 비정상적인 행동을 하지 못하도록 방지합니다. 그러나 다단계 작업에서는 어떤 행동이 유효한지가 에이전트가 이미 수행한 작업과 학습한 내용에 따라 달라지는 경우가 많습니다. 본 논문에서는 상태 기반(stateful) 문맥 정책을 적용하기 위한 정책 엔진인 Sapien을 제시합니다. Sapien 정책은 상태 기반 술어(stateful predicate), 지연 정책 생성(deferred policy generation), 범위 한정 의미론적 검사(scoped semantic check)로 확장된 정규 표현식을 사용하여 허용된 도구 호출 시퀀스를 지정합니다. 실험을 통해 Sapien이 제약 없는 에이전트의 유용성(utility)과 비교했을 때 수 퍼센트 이내의 성능을 유지함을 보입니다. 에이전트가 완전히 탈취되더라도, Sapien의 정책은 AgentDojo에서 공격의 93~95%, Toolathlon에서 62~85%를 차단합니다(장기적 작업(long-horizon tasks)에서 도구 허용 목록 대비 2배 많은 수치).
구조화된 도구 호출(tool call)은 종종 소수의 필드만이 스키마나 실행 계약(execution contract)을 위반하여 실패합니다. 객체 전체를 다시 생성하는 것은 행동 공간(action surface)을 확장시키고 반복적인 수정에 대한 감사를 어렵게 만듭니다. 본 논문에서는 검증기(verifier) 유도 JSON 수정을 유계 결정 과정(bounded decision process)으로 모델링하는 계약 제약 순차 수정 프로토콜인 ContractRL을 제안합니다. 각 단계에서 정책(policy)은 후보 객체, 타입이 지정된 검증기 피드백, JSON Pointer, 불변의 수정 이력, 남은 예산을 관찰하며, 결정론적 유효성 검사기가 상태 전이를 수행하기 전에 계약 기반 행동 마스크가 잘못되었거나 금지된 RFC-6902 연산을 필터링합니다. 또한 추적(trace)이 고정될 때까지 표준 타깃(canonical targets)과 시맨틱 라벨을 온라인 상태 외부에 유지하면서 패치, 재시도, 기권 결정을 위한 계약 제약 그룹 상대적 목적함수를 정의합니다. 동일한 검증기 정보 환경에서 시드당 192개 케이스와 5개의 시드에 걸쳐 평가한 결과, ContractRL은 34.4개의 생성 토큰으로 0.9362의 시맨틱 성공률을 달성하여, Patch-SFT의 0.9076 및 44.9개 토큰, 전체 재생성의 0.9148 및 137.2개 토큰과 대조적인 성과를 보였습니다. 정책 최적화(policy optimization)는 지도학습 기반 ContractRL의 시맨틱 성공률을 0.9186에서 0.9375로 향상시켰습니다. Patch-SFT와의 별도 3개 시드 대응 평가에서는 +0.0396의 시맨틱 차이(95% CI $[+0.0137,+0.0662], p=0.0039$)를 나타냈습니다. 피드백, 행동 마스크, 예산 및 스키마 변화(schema-shift) 분석은 이러한 성능 향상이 국소화된 교정(localized correction)과 연관되어 있음을 보여주며, 적대적 평가 및 다중 턴 평가는 남아 있는 실패 모드의 특성을 규명합니다.
비전-언어 모델(VLM)은 일반적으로 이미지를 원본 고해상도로 처리하여 정확도와 계산 효율 사이의 트레이드오프를 강요한다. 고해상도 입력은 세밀한 디테일을 포착하지만 상당한 계산 비용이 발생하고, 저해상도 입력은 효율성에 유리하지만 작은 텍스트와 같은 중요한 시각 정보를 놓칠 수 있다. 우리는 AwaRes를 제시한다. 이는 저해상도 전역 뷰에서 동작하고 tool-calling을 통해 주어진 쿼리에 필요한 고해상도 구간만 검색함으로써 이 정확도-효율 트레이드오프를 해소하는 공간 온디맨드(spatial-on-demand) 프레임워크이다. 감독 데이터는 자동으로 구성한다. 판사(judge)가 저해상도 대 고해상도 답을 비교해 크롭이 필요한지 레이블하고, 오라클 그라운딩 모델이 정답에 대한 근거를 국소화하며, 이를 이산 크롭 집합에 매핑해 다중 턴 tool-use 궤적을 형성한다. cold-start SFT 이후 다중 턴 GRPO로 프레임워크를 학습하며, 복합 보상은 의미적 답 정확도와 명시적 크롭 비용 페널티를 결합한다. Project page: https://nimrodshabtay.github.io/AwaRes
도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.
LLM의 안전성 정렬(safety alignment)은 모델을 인간의 가치와 정렬하는 것을 목표로 하지만, 가치가 충돌할 때 어떤 가치가 우선되는가? 우리는 규제 산업에 배포된 도구 호출 LLM 에이전트 맥락에서 이 질문을 조사한다. 기밀 문서를 처리하는 에이전트는 배포 맥락 지시(예: 내부 로깅)와 충돌하는 안전성 학습 가치(예: 공공 복지)를 유발하는 내용을 접할 수 있다. 이 현상을 실증적으로 검증하기 위해 16개 도메인에 걸친 128개 시나리오로 구성된 벤치마크를 구축했다. 안전성 정렬된 오픈소스 모델이 배포 지시를 최대 43.4%의 경우 무시하며, 조직의 잘못을 시사하는 문서를 처리할 때 고발, 데이터 유출, 증거 조작에 관여함을 발견했다. 또한 abliteration이 외부 고발 비율을 낮춘다는 것도 발견했다. 이 결과는 다원적 정렬(pluralistic alignment)의 근본적 긴장을 드러낸다. 사용자를 보호하는 동일한 안전성 학습이 에이전트가 배포 지시에 반하는 방식으로 행동하게 하여 예측 불가능한 책임 위험을 초래할 수 있다. 경쟁하는 정당한 이해관계 하에서 에이전트 행동의 평가를 지원하기 위해 벤치마크를 프레임워크로 공개한다.
인식(recognition)은 에이전트에게 이미지에 무엇이 있는지 알려주고, 개인 메모리는 다음에 무엇을 조회할지 결정한다. 카메라 우선 환경에서 사용자는 이미지만 전송할 수 있으므로, 에이전트가 조회를 직접 구성해야 한다. 우리는 개인 시각적 메모리가 에이전트 측의 도구 선택과 도구 인수를 개선하고, 이를 통해 더욱 사용자 지향적인 다중 도구 조회를 가능하게 하는지 연구한다. 이 설계는 3층 개인 시각적 메모리(프로필, 단기 집중, 관찰)를 활용하며, 카메라 우선 입력 환경에서 대규모 언어 모델(LLM) 도구 호출 루프를 조건화하기 위해 각 턴마다 로드되고, 이후 캡처를 위한 사용자 모델 갱신을 목적으로 한 충돌 인식 쓰기 반영(conflict-aware write-back)을 포함한다. 제어된 제거 실험을 위해 구성된 합성 메모리 블록과 쌍을 이루는 800개 이미지에서, 전체 3층 메모리 블록을 제거하면 도구 쿼리 관련성이 절대 0.47포인트 감소하고(5점 척도에서 4.21 → 3.74; 상대적 11.2%), 종단 간(end-to-end) 유용성이 절대 0.082 감소한다(0.842 → 0.760; 상대적 9.7%). 이러한 결과는 실제 사용자 기록의 다중 세션 쓰기 반영이 아닌, 고정된 합성 블록을 사용한 이미지 전용 입력 환경에서 도구 정책에 대한 메모리 조건화를 측정한 것이다.
도구 호출은 현대 언어 모델 에이전트의 핵심이지만, 집계된 벤치마크 점수는 도구 사용이 실패하는 지점을 종종 가린다. 필요한 도구를 전혀 호출하지 않는 모델과 도구를 호출하지만 결과를 무시하는 모델이 최종 태스크 정확도에서 유사하게 보일 수 있다. 우리는 금융, 의학, 법률, 사이버보안, 부동산 분야의 1,000개 태스크에 걸쳐 도구 사용 실패를 측정하는 진단 벤치마크인 ToolFailBench를 소개한다. 도구가 필요한 태스크는 모델이 추측할 수 없는 값을 반환하여 도구를 신뢰하도록 강제하는 반면, 대조 태스크는 동일한 도구를 제공하되 직접 답변해야 하는 형태이다. 우리는 규칙 기반 분류기와 다수결로 집계된 두 개의 LLM 판정 모델을 사용하여 각 트레이스에 도구 건너뜀(Tool-Skip), 결과 무시(Result-Ignore), 출력 날조(Output-Fabrication), 불필요한 도구 사용(Unnecessary-Tool-Use)을 레이블링한다. 19개의 주요 모델을 대상으로 한 실험에서 최고 성능 모델이 86.33%의 Clean Tool-Use Rate를 달성하여, 충실한 도구 사용이 아직 포화 상태에 이르지 않았음을 보여준다. 더 중요한 것은, 유사한 집계 점수를 가진 모델들이 서로 다른 방식으로 실패한다는 점이다. 대부분의 모델은 도구 미사용 대조 태스크에서 규율을 유지하는 반면, Llama-3.1 모델은 항상 호출(Always-Call) 패턴을 보이며, 동일한 매개변수 규모에서 Llama-3.1-70B와 Qwen2.5-72B는 대조 태스크 정확도에서 89퍼센트포인트 차이를 보인다. 도구 사용 평가는 에이전트가 도구를 호출하는지 여부뿐만 아니라, 도구 출력을 올바르게 활용하는지, 그리고 도구가 필요하지 않을 때 사용을 피하는지도 측정해야 한다.
본 연구는 대규모 언어 모델(LLM) 에이전트 시스템에서 구조화된 도구 호출 방식의 사용에 의문을 제기한 Johnson et al.(2025)의 자연어 도구(NLT, Natural Language Tools) 프레임워크를 독립적으로 복제하고 확장한다. 우리는 14개 모델과 8,560회 시험에 걸쳐 NLT를 평가하였으며, 원본 연구의 모델 집합에 최신 프론티어 모델, 추론 모델, 오픈-가중치 모델을 추가하였다. 결과는 핵심 발견을 확인하고 세부 사항을 보완한다. NLT는 전체적으로 도구 호출 정확도를 14.9 퍼센트포인트 향상시키며(62.3% 대 구조화 방식 47.4%), 치명적 오류를 93% 감소시킨다(51건 대 755건). 이러한 성능 향상은 모델 역량에 따라 달라진다. 네이티브 도구 호출 기능이 없는 모델, 추론 모델, 소규모 모델은 상당한 이득을 얻는 반면(+24.0pp~+43.1pp), 고도로 최적화된 프론티어 모델(GPT-5, Gemini 2.5 Pro)은 더 작거나 역전된 이점을 보인다. 이는 강화학습 최적화 도구 사용에 관한 최근 분석(Martinez, 2025)과 일치한다. NLT는 토큰 사용량도 25.2% 절감한다. 신뢰성과 효율성 측면의 이점은 에이전트가 서브에이전트에 걸쳐 다수의 도구 호출을 연쇄적으로 수행하는 재귀적 에이전트 워크플로에서 복합적으로 나타난다. 구조화 방식에서 오류가 발생하면 재시도, 폴백 라우팅, 조정 오버헤드가 유발되는 반면, NLT는 해당 비용의 대부분을 원천에서 방지한다. 본 연구는 세 가지 기여를 한다. (1) 오픈소스 툴링을 사용한 NLT 최초의 독립적 검증, (2) 모델 역량이 NLT의 이점을 조절한다는 근거(Chen et al., 2025; Zhang et al., 2025), (3) NLT의 신뢰성 이점 측정(오류 93% 감소)—구조화된 도구 호출의 알려진 취약성을 고려할 때 배포에 가장 관련성 높은 특성. NLT는 구조화된 도구 호출에 대한 실용적인 대안이며, 특히 파싱 가능성보다 신뢰성을 중시하는 프로덕션 시스템에 적합하다.
의료 계산 분야에서 대규모 언어 모델(LLM)을 평가하는 현재의 벤치마크는 대부분 단순화된 설정에 기반하며, 각 환자 사례가 단일 계산기에 대응되고 필요한 도구가 쿼리에 명시적으로 지정된다. 그러나 실제 임상 시나리오에서는 종종 복수의 계산기를 이용한 복합 평가, 중첩 척도 계산, 그리고 목표 계산기를 직접 명시하지 않는 퍼지 쿼리가 요구된다. 이를 위해 우리는 새로운 의료 계산 벤치마크인 MedCalc-Pro를 제안한다. MedCalc-Pro는 단일 계산기, 다중 계산기, 중첩 계산기 계산 설정이라는 세 가지 점진적으로 난이도가 높아지는 태스크 설정을 포함한다. MedCalc-Pro는 14개 임상 진료과에 걸쳐 77개의 의료 계산기를 포괄하는 2,268개의 실제 임상 사례를 담고 있다. 또한, 복잡한 임상 시나리오에서 기존 프레임워크와 방법의 성능 한계를 극복하기 위해, 다중 도구 선택과 중첩 도구 호출을 지원하면서 구조화된 검증과 증거 검토를 통해 매개변수 오류 전파를 억제하는 보다 범용적인 에이전트 프레임워크를 추가로 제안한다. 오픈소스, 클로즈드소스, 의료 특화 LLM에 걸쳐 체계적인 비교 실험을 수행하였으며, 결과적으로 우리의 프레임워크가 세 가지 태스크 설정 모두에서 최고 성능을 달성함을 보인다. 본 연구는 도전적인 의료 계산 시나리오에서 LLM을 평가하고 적용하기 위한 새로운 벤치마크와 방법론을 제공한다.
대규모 언어 모델(LLM) 웹 에이전트는 주로 툴 호출기(tool caller)로 배포됩니다: 매 턴마다 모델은 새로운 페이지 관찰 결과를 읽고 하나의 구조화된 툴 액션을 생성합니다. 모든 액션이 저수준 프리미티브(primitive)인 경우, 시계(horizon)는 빠르게 길어지고 정책 결정을 위한 LLM 완료 작업도 증가하여 Mind2Web 및 WebArena와 같은 벤치마크에서 지연 시간과 비용을 주도하게 됩니다. 따라서 최근 시스템들은 반복되는 상호작용 조각을 웹 스킬로 래핑합니다: 성공적인 궤적이나 도출된 프로그램에서 빌드된 호출 가능한 툴로서, 하나의 호출이 여러 프리미티브를 대체할 수 있습니다. 그러나 기존 스킬 라이브러리는 여전히 주로 명령어 유사도나 대략적인 사이트 메타데이터에 의해 트리거되므로, 홀드아웃 사이트에서 낮은 스킬 재사용율을 보이며 잠재적인 단계 및 토큰 감소 효과를 충분히 활용하지 못합니다. 우리는 레이아웃 구조를 특정 요소 참조가 아닌 매칭하여 사이트 간에 재사용 가능한 웹 스킬을 학습하고 전이하는 에이전트인 SkillMigrator를 제안합니다. 각 도출된 스킬은 전이 가능한 상호작용 패턴(TIP)으로 저장됩니다: 도출 시점의 스냅샷에 대한 구조적 스케치와 짝을 이룬 스킬입니다. 테스트 시점에 SkillMigrator는 레이아웃 유사도로 TIP를 검색하고 라이브 페이지에서 해당 참조를 그라운딩합니다. 나머지 스택은 표준적입니다: 안정적인 참조가 포함된 접근성 스냅샷 관찰, 그리고 프리미티브와 스킬 호출에 대한 고정된 툴 호출입니다. 최신 방법론들과 비교했을 때, SkillMigrator는 동일한 성공률에서 WebArena와 Mind2Web 모두에 걸쳐 성공적인 궤적의 평균 LLM 액션 수를 8-10% 감소시킵니다.
식품 지원 연결은 대화형 에이전트가 불완전하고 종종 노이즈가 섞인 도움 요청 대화를 지역적으로 유효한 자원 추천으로 변환해야 하는 작업입니다. 우리는 686개의 구조화된 인디애나 식품 자원에 기반한 에이전트 식품 자원 연결 프레임워크이자 벤치마크인 Food4All을 제시합니다. Food4All은 식품 특화 검색 도구와 300개의 멀티턴 평가 작업을 결합하며, 이는 단일 식품 요구 사항, 접근 또는 문서 제약 조건이 있는 복합 사례, 그리고 비합리적인 요구, 장황한 응답, 성급함, 불완전한 답변, 모순된 정보라는 다섯 가지 비이상적인 사용자 상호작용 특성을 아우릅니다. 우리는 요구사항 그라운딩, 자원 검색, 최종 연결 정확도, 상호작용 효율성 측면에서 6개의 대규모 언어 모델(LLM)을 평가했습니다. 가장 강력한 모델이 96.33%의 연결 정확도를 달성했지만, 우리의 진단 결과 일정, 자격 요건, 접수, 문서 제약 조건에 대한 그라운딩의 지속적인 실패와 최종 추천에서 유효하게 검색된 자원을 보존하지 못하는 실패가 드러났습니다. 특성 수준 분석은 서로 다른 비이상적인 행동이 연결 파이프라인의 서로 다른 부분에 부담을 준다는 것을 추가로 보여줍니다. Food4All은 현실적인 사용자 상호작용 문제 하에서 제약 조건에 민감한 식품 지원 연결 분야의 툴 호출 에이전트를 연구하기 위한 통제된 테스트베드를 제공합니다.
파운데이션 모델 에이전트는 실제 환경에서의 의사결정을 위해 점점 더 많이 배포되고 있지만, Sim-to-Real 격차로 인해 어려움을 겪고 있습니다. 로봇공학 및 고전 제어 분야에서는 이러한 격차를 해결하기 위한 성숙한 프레임워크가 존재하지만, 파운데이션 모델 커뮤니티는 에이전트 강건성(robustness)을 전적으로 새로운 현상으로 다루고 있습니다. 본 논문은 파운데이션 모델 에이전트의 평가 및 학습 간의 격차를 관찰(Observation), 행동(Action), 전이(Transition), 보상(Reward)을 포함한 마르코프 결정 과정(MDP)의 4가지 요소를 중심으로 구조화된 고전적인 Sim-to-Real 문제로 공식화할 것을 제안합니다. 본 논문에서는 고전적인 불일치를 파운데이션 모델 도메인으로 변환하고 도메인 무작위화(domain randomization)와 같은 확립된 솔루션의 채택을 옹호하는 포괄적인 연구 의제를 설정합니다. 우리는 다국어 도구 호출과 같은 구체적인 예를 통해, 올바른 의미적 의도에도 불구하고 심각한 관찰 공간(observation space) 격차가 작동적으로 유효하지 않은 행동으로 이어지는 방식을 보여줍니다. 궁극적으로, 이 의제는 패러다임의 전환을 주도하여 신뢰할 수 있는 실제 환경 애플리케이션을 위한 고도로 신뢰할 수 있는 에이전트의 새로운 세대를 육성하기 위해 통합된 어휘와 표준화된 스트레스 테스트 벤치마크를 생성하는 것을 목표로 합니다.
대규모 언어 모델(LLM) 기반 에이전트는 근거 없는 도구 호출 및 환각된 직접 응답을 포함하여 최적이 아닌 도구 사용 결정을 내리는 경우가 많으며, 이는 다단계 상호작용 전반에 걸쳐 오류를 누적시킬 수 있다. 기존 접근법은 주로 추론 시점의 교정이나 결정 결과 및 구조화된 체크리스트에 기반한 거친 보상 신호를 통해 이러한 동작을 개선하며, 에이전트 결정의 불확실성 특성은 충분히 탐구되지 않은 채로 남아 있다. 우리는 결정 지향 강화학습이 올바른 행동과 그렇지 않은 행동 간의 불확실성 분리를 약화시키는 경향이 있으며, 이로 인해 과신에 의한 오류와 약한 탐험 신호가 발생함을 관찰하였다. 따라서 우리는 불확실성 분리를 유지하기 위한 반발력으로서 불확실성 정량화를 보상 설계에 통합하고, 다중 턴 궤적의 통합 사후 학습을 위해 경량 핵심 턴 어노테이션을 레이블링하는 TRUST를 제안한다. 다양한 도구 사용 벤치마크에 걸친 실험 결과, TRUST는 최적화 과정에서 더 신뢰할 수 있는 불확실성 추정치를 유지하면서 결정 품질과 에이전트 성능 모두를 일관되게 향상시킴을 보여준다.