PyTorchKR Papers

최신 논문

총 141편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.18304v4cs.CL

세계는 롤백하고, 반성은 유지하라: 장기 지평 LLM 에이전트를 위한 롤백 유도 반성(Rollback-Induced Reflection)

Rollback the World, Keep the Reflection: Rollback-Induced Reflection for Long-Horizon LLM Agents

대규모 언어 모델(LLM) 에이전트는 다단계 환경 상호작용을 통해 장기 지평 과제를 점점 더 많이 수행하지만, 단 한 번의 잘못된 행동만으로도 이후 상태와 관측이 바뀌어 오류가 시간에 따라 누적될 수 있다. 기존 방법은 변경된 환경 상태를 복구하지 않은 채 문맥만 고치거나, 이전 상태로 되돌리면서 유용한 경험을 버려, 실패 조건을 제거하는 것과 과거 실수를 반복하지 않는 것을 동시에 달성하기 어렵다. 우리는 신뢰할 수 있는 복구를 대신 롤백 경계 제어 문제로 보아, 언제 개입할지, 어디서 재개할지, 복구 후 어떤 정보가 남아야 하는지를 함께 결정해야 한다고 주장한다. 이 관점에 기반해, 선택한 이전 상태로 실행을 복원하면서 포기한 궤적에서 정제한 재사용 가능한 지식을 이어가 후속 결정을 이끄는 통합 복구 프레임워크인 Rollback-Induced Reflection(RIR)을 제안한다. 또한 롤백 깊이와 보존 기억에 대한 통합 연산자로 복구를 특성화하여, 상태 복원과 지식 보존에 대한 일반적 관점을 제공한다. 세 가지 장기 지평 벤치마크 실험에서 RIR은 여러 LLM 백본에서 평균 과제 성능을 일관되게 향상시키며, 구조화된 반성 기억이 유용한 경험을 보존하고 선택적 롤백이 효율적인 복구를 가능하게 함을 보여준다.

arXiv:2606.29225v2cs.AI

PolicyGuard: A Dialogue-Grounded Sub-Agent Verifier for Policy Adherence in LLM Agents

LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is broader: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on dialogue rather than on any single argument value. We introduce PolicyGuard, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and returns actionable remediation. On $\tau^2$-bench airline across GPT 5.4, Claude Sonnet 4.6, and Gemini 2.5 Pro, PolicyGuard improves $\mathrm{Pass}^4$, the fraction of tasks successful in all four trials, by +12.0 / +6.0 / +12.0 pp; pooled paired tests support an overall cross-vendor effect. We further evaluate PolicyGuard on the full retail and telecom base splits, covering all three $\tau^2$-bench customer-service domains. Further analyses show that PolicyGuard improves reliability beyond agent self-checking, catches more policy violations with fewer blocks than argument-level guards, and preserves its refusal accuracy under three adversarial probes.

arXiv:2606.28733v3cs.AI

Agentic Abstention: Do Agents Know When to Stop Instead of Act?

LLM agents are expected to act over multiple turns, using search, browsing interfaces, and tools to complete user goals. Yet not every goal is well specified or achievable in an available environment. In such cases, a reliable agent should recognize that further interaction is unlikely to help and abstain from additional tool calls. We define Agentic Abstention, the problem of deciding when an agent should stop acting under uncertainty. Unlike standard LLM abstention, which is usually evaluated as a single-turn answer-or-abstain decision, agentic abstention is a sequential decision problem: an agent can answer, abstain, or gather more information at each turn, and the need to abstain may only become clear after interacting with the environment. We study this problem across web shopping, terminal environments, and question answering, evaluating 13 LLM-as-agent systems and 2 agent scaffolds on more than 28,000 task instructions. Our results show that the main challenge is not only whether agents can abstain, but also when they abstain. Some agents never abstain when they should, while others do so only after many unnecessary interactions. This gap is especially large on tasks where the instruction appears feasible until the environment reveals otherwise (e.g., no valid result matches the instruction). We further find that model scale, reasoning, and agent scaffolding affect abstention in different ways, where larger or more capable models sometimes perform worse at timely abstention. Finally, we introduce CONVOLVE, a context engineering method for improving agentic abstention that distills interaction trajectories into reusable stopping rules. On held-out WebShop tasks, CONVOLVE substantially improves timely abstention without updating model parameters, raising Llama-3.3-70B's timely recall rate from 26.7 to 57.4. Our dataset and code are available at https://agentic-abstention.github.io.

arXiv:2610.10942v2cs.AI

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2607.20827v2cs.AI

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

arXiv:2606.19847v2cs.CL

AtomMem: 원자적 사실(Atomic Facts)을 통한 대규모 언어 모델(LLM) 에이전트용 간단하고 효과적인 메모리 시스템 구축

AtomMem: Building Simple and Effective Memory System for LLM Agents via Atomic Facts

대규모 언어 모델(LLM)은 강력한 추론 및 생성 능력을 보여주지만, 고정된 컨텍스트 윈도우(context window)로 인해 다중 세션 상호작용 간의 장기 정보 축적 및 재사용이 제한됩니다. 기존 메모리 증강 시스템은 비효율적인 메모리 표현이나 불안정한 제약 없는 업데이트에 의존하여, 종종 대략적이고 불안정한 방식으로 메모리를 구성합니다. 이러한 문제를 해결하기 위해, 우리는 가치 밀도가 높은 저장과 안정적인 메모리 진화를 위해 설계된 장기 메모리 시스템인 AtomMem을 제안합니다. AtomMem은 Fact Executor를 도입하여, 장문 상호작용에서 고가치 원자적 사실(atomic facts)을 선택적으로 추출함으로써 매우 효율적인 메모리 표현으로 활용합니다. 이후 AtomMem은 이러한 사실들을 계층적 이벤트 구조와 시간적 프로필로 조직하여, 일관된 에피소드 컨텍스트를 포착하고 시간이 지남에 따라 동적으로 진화하는 사용자 속성을 추적합니다. 검색(retrieval) 과정에서 시스템은 연상 메모리 그래프를 활성화하여 파편화된 메모리를 연결합니다. LoCoMo 벤치마크에 대한 실험 결과, AtomMem은 다양한 추론 작업에서 최첨단(state-of-the-art) 성능을 달성하는 것으로 확인되었으며, 이는 지능형 개인화 에이전트 배포를 위한 확장 가능하고 경제적으로 실현 가능한 솔루션을 제공합니다.

arXiv:2610.00012v2cs.AI

인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가

When Do Causal World Models Help Modular LLM Agents

LLM agents increasingly operate in modular systems, where planning requires coordinating multiple functional components whose actions can causally change downstream states and behaviors. This makes intervention-aware prediction essential: an agent must anticipate not only what is likely to happen next, but what will happen as a consequence of its own actions. We find that purely observational world models can incur irreducible intervention-time error in such systems, even when they accurately model observational trajectories. To address this limitation, we propose CausalCompose, a causal world-model framework that equips modular LLM agents with causal structure for intervention-aware prediction and planning. We theoretically show that causal composition can overcome this intervention gap with sufficient evidence and controlled local error. Experiments across diverse modular agent environments validate these results: incorporating causal structure consistently improves intervention-sensitive reasoning and planning, with particularly clear gains in structured tool-use systems where causal dependencies directly govern action execution. Our results show when causal world models help modular LLM agents: when causal dependencies are identifiable and actionable for planning.

arXiv:2610.13886v1cs.AI

X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.

arXiv:2610.13623v1cs.CR

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

arXiv:2610.13455v1cs.AI

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2610.13438v1cs.AI

롤아웃 시점 개입: 정책의 한계를 넘어 에이전트 강화학습 잠재력 끌어내기

Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

강화학습(RL)은 상호작용 환경에서 더 강력한 추론, 계획 및 도구 사용을 가능하게 함으로써 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 핵심 패러다임으로 부상했습니다. 그러나 기존의 에이전트 강화학습 방법은 온-정책(on-policy) 추론 병목 현상으로 인해 근본적인 한계를 지닙니다. 즉, 작업이 모델의 현재 역량 범위를 벗어나면 유효한 궤적이 극도로 희소해져 학습(training)이 붕괴되는 경우가 빈번합니다. 본 연구에서는 정책 고유의 탐험(exploration) 역량을 넘어 성공적인 궤적을 이끌어내도록 설계된 기법인 롤아웃 시점 개입(Rollout-Time Intervention, RTI)을 제안합니다. RTI는 롤아웃 중에 보상 측면의 증거(즉, 평가 루브릭)를 활용하여 오류가 발생한 궤적을 성공적인 궤적으로 변환함으로써, 정책이 자체적으로는 거의 풀지 못하는 작업에 대해 효과적인 학습 신호를 제공합니다. 비록 개입 궤적이 본질적으로 오프-정책(off-policy)에 해당하지만, 과도한 분포 변화(distributional shift)를 보이는 궤적을 걸러내면 정책 최적화(optimization)를 효과적으로 이끌 수 있음을 확인했습니다. 5개 벤치마크에 걸친 광범위한 평가를 통해 RTI가 기존 강화학습 베이스라인을 일관되게 능가하며, 사후학습된 정책이 실질적으로 훨씬 더 강력한 최신 LLM의 성능에 근접하고, 더 중요하게는 기존의 역량 한계를 뛰어넘도록 지원함을 입증했습니다. 코드는 https://github.com/Alibaba-NLP/qqr 에서 이용할 수 있습니다.

arXiv:2610.11030v1cs.CR

NOMOS: 문서화된 정책을 LLM 에이전트를 위한 정적으로 검증된 도구 호출 게이트로 컴파일하기

NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.

arXiv:2610.11007v1cs.AI

LLM 에이전트를 위한 상시 로드 컨텍스트 큐레이션: 중도절단 피드백을 갖는 용량 제한 구색 모델

Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback

모든 세션이 시작될 때, 대규모 언어 모델(LLM) 에이전트는 $\texttt{AGENTS.md}$와 같은 고정된 컨텍스트 파일을 로드합니다. 파일에 로드된 각 토큰은 세션의 후속 라운드마다 반복해서 비용이 청구되며, 이러한 파일은 크기가 커질수록 성능을 저하시킬 수 있습니다. 그러나 실제로는 사람 또는 자동화된 큐레이터가 대개 내용을 덧붙이는(append) 방식으로 이러한 파일의 크기를 늘립니다. 본 연구에서는 컨텍스트 큐레이션을 용량 제한 구색 문제(capacitated assortment problem)로 정식화합니다. 지시문은 유한한 어텐션 용량 내에서 토큰을 소모하며, 지시문을 추가하더라도 다른 지시문의 준수율이 결코 높아지지 않는 반면 유지되는 지시문은 세션당 설정 비용(setup cost)을 발생시킵니다. 본 논문에서는 사용 가능한 후보 지시문의 수와 관계없이 최적 파일 크기의 상한을 증명하며, 단독 가치가 양수인 모든 지시문을 단순히 덧붙이는 방식이 최적의 부분 집합을 선택하는 것에 비해 순가치(net value) 측면에서 임의로 크게 악화될 수 있음을 증명합니다. 또한 토큰 예산은 토큰 가격이 과소평가되었을 때의 손실을 제한합니다. 이어 과거 세션으로부터 무엇을 학습할 수 있는지, 그리고 이 정보가 지시문의 추가 또는 제거 결정을 어떻게 이끌 수 있는지 살펴봅니다. 피드백은 본질적으로 중도절단(censored)되어 있습니다. 로드된 지시문의 이점과 위해는 관찰 가능한 반면, 누락된 지시문은 그 부재가 위해를 초래할 때만 피드백을 생성합니다. 이러한 환경에서 에이전트가 무시한 지시문을 삭제하는 것은 유용한 지시문까지 필연적으로 제거할 수 있음을 보입니다. 또한 지시문을 추가하기 전에 수집해야 하는 근거의 양을 특성화합니다. 아울러 인간 검토자가 기간당 제한된 수의 수정 사항만 검토할 수 있을 때의 후회(regret) 한계를 제시합니다. 실증 실험을 통해서도 실제 컨텍스트 파일에서 추출한 무관한 규칙들이 언어 모델의 준수율을 낮춘다는 점을 추가로 보입니다.

arXiv:2610.10833v1cs.AI

시간 내 완수: 기한을 준수하며 생산적인 시간 제한형 AI 에이전트를 향하여

On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

본 연구에서는 소형 대규모 언어 모델(LLM) 에이전트가 할당된 실행 시간을 준수하면서 주어진 시간을 생산적으로 활용함으로써, 명시적인 실제 시간(wall-clock time) 예산 하에서 효과적으로 작동할 수 있는지 탐구합니다. 추가 계산 시간이 성능을 의미 있게 향상시킬 수 있는 두 가지 에이전트 벤치마크인 MLE-Bench Lite의 5개 대회에서 Qwen3.6-27B를, Zork I(Jericho)에서 Qwen3-4B를 평가합니다. 예산이 프롬프트에만 명시되는 가장 단순한 설정에서는 에이전트가 명시된 예산을 통제된 시간 활용으로 전환하는 데 실패합니다. 이러한 실패는 하네스(harness)가 타이밍 피드백을 제공하지 않아 발생하는 시간 인지의 공백뿐만 아니라, 행동의 소요 시간을 안정적으로 예측하지 못하고 가용 시간에서 적절한 전략으로 이어지는 학습된 매핑이 부재하기 때문에 발생합니다. 저자들은 두 가지 상호보완적인 개입 방식을 조사합니다. 즉, 시간 정보를 노출하고 마감 기한을 강제하는 하네스 기반 메커니즘과 예산을 인식하는 보상을 적용한 강화학습(RL)입니다. 하네스를 통해 시간 정보를 주입하면 성능의 측정 가능한 손실 없이 Qwen3.6-27B의 예산 준수도가 크게 향상되며, 강제 훅(enforcement hook)을 적용하면 준수도가 더욱 엄격해집니다. GRPO를 활용한 강화학습은 Zork I에서 거의 완벽한 예산 준수를 달성하고 학습 중 보지 못한 미확인(held-out) 예산에도 일반화되지만, MLE-Bench에서 학습되지 않은 하네스 대비 작업 성능을 향상시키지는 못합니다. 에이전트가 예산을 준수하도록 만든 후에도, 추가 시간을 작업 성능 향상에 활용하는 데는 여전히 실패합니다. 강화학습으로 학습된 정책은 종료 시점을 학습하지만 남는 시간을 반복적인 행동으로 채우는 경우가 많으며, 여러 예산에 대한 GRPO 학습은 가장 짧은 예산에 대해 학습된 전략으로 수렴(collapse)하는 경향을 보입니다. 본 연구 결과는 시간 준수와 생산적인 시간 배분 사이의 격차를 드러내며, 이는 예산 조건부 에이전트의 핵심 과제로 남아 있음을 보여줍니다.

arXiv:2610.10629v1cs.AI

유일하게 변경 가능한 표면으로서의 하네스: 측정된 승인 게이트를 갖춘 신용 파이프라인 내 LLM 에이전트의 규제 준수 경계 자기 진화

The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate

자기 개선형 대규모 언어 모델(LLM) 에이전트(agent)는 변경된 규칙에 맞춰 신용 파이프라인을 적응시킬 수 있지만, 스스로를 재작성하는 에이전트는 감독관이 검토해야 할 인공물인 명명된 변경 사항, 기록된 테스트, 승인 내역을 훼손합니다. 본 논문에서는 모델(model) 가중치를 고정한 채 런타임 하네스(지시문 텍스트, 도구 호출 로직, 원시 함수 구성)로만 자기 진화를 국한해야만 모든 적응이 원인 및 테스트가 첨부된 diff가 되어 검토 가능해진다고 주장합니다. 이러한 경계를 기반으로 구축되고 배포 전에 해시 체인 기록을 작성하는 하나의 승인 게이트를 갖춘 이중 루프 엔진을 제시하며, 언어 모델 대신 시뮬레이션된 에이전트와 시드 검색 제안기를 사용하여 시뮬레이션 환경에서 이 게이트를 측정합니다. 세 가지 심각도에 걸친 세 가지 유형의 감독 재해석에 대해 각각 10개의 시드를 적용한 결과, 게이트 루프는 7,449개의 후보 변경 사항 중 144개를 승인했으며, 이 중 홀드아웃된 이력 데이터에서 오류를 악화시킨 변경은 없었고, 모든 저심각도 및 중심각도 셀에서 미탐지 플래그를 증가시키지 않으면서 위양성률을 오라클 수준으로 복구했습니다. 게이트를 비제한적 시스템이 적용하는 검사(최근 트레이스에서 보이는 오류 감소)로 대체했을 때 동일한 루프가 309개의 유해한 변경을 승인했고 90회 실행 중 49회에서 미탐지 플래그가 10% 이상으로 유지되었습니다. 즉, 선별 기준이 느슨해졌기 때문에 위양성이 감소한 것이었습니다. 시프트 이전 라벨로 평가했을 때 게이트는 모든 후보를 거부했으므로, 재해석은 이력 데이터를 재라벨링하는 규칙으로 인코딩되어야 합니다. 모수적 시프트 및 범위 시프트는 국소적으로 복구되었으나 구조적 시프트는 원시 함수 교체로만 복구되었으며, 가장 높은 구조적 심각도에서는 게이트의 고정된 허용 오차로 인해 절반의 시드에서 올바른 교체가 차단되었습니다. 마지막으로 본 연구의 메커니즘을 고위험 신용 평가에 대한 EU AI 법의 조항에 매핑하고, 2026년 4월 미국 모델 위험 지침이 에이전트형 AI를 적용 범위에서 제외하고 있음을 언급합니다.

arXiv:2609.34565v2cs.AI

FlowState: 장기 작업 대규모 언어 모델(LLM) 에이전트를 위한 메모리로서의 실행 상태

FlowState: Execution State as Memory for Long-Horizon LLM Agents

장기 작업(long-horizon tasks)을 수행하려면 대규모 언어 모델(LLM) 에이전트가 이전 상호작용의 정보를 지속적으로 활용해야 합니다. 그러나 전체 히스토리를 유지하면 컨텍스트 비용이 증가하는 반면, 이를 압축하면 나중에 필요한 세부 정보를 잃을 위험이 있으며, 과거 정보의 관련성은 작업이 진행됨에 따라 분명해지는 경우가 많습니다. 이러한 문제를 해결하기 위해, 요청 전반에 걸쳐 유지 및 재방문할 수 있는 메모리로 실행 상태를 다루어 현재의 의사결정과 과거 정보의 재사용을 통합하는 FlowState를 제안합니다. FlowState는 의미론적 유형이 지정된 상태 노드, 이들의 관계, 원시 도구 관측치에 대한 참조를 보존하여 지속적인 유지와 온디맨드 접근을 분리합니다. 단일 실행 루프 내에서 증분 상태 업데이트(ISU)는 새로운 입력과 피드백을 기반으로 현재 상태를 유지하고, 점진적 상태 접근(PSA)은 추론 중에 필요에 따라 과거 상태와 뒷받침하는 근거를 점진적으로 드러냅니다. 이러한 메커니즘은 에이전트가 새로운 정보에 비추어 이전 결정을 재평가하고 후속 조치를 안내할 수 있도록 지원합니다. 동일한 DeepSeek-V4-Flash 모델을 사용하는 전체 컨텍스트 기준선과 비교했을 때, FlowState는 MemoryArena의 평균 성공률과 $τ^3$-Bench의 평균 통과율을 각각 4.55%p 및 13.95%p 향상시키는 동시에 전체 토큰 소비량을 43.2% 및 40.6% 줄였습니다. 이러한 결과는 장기 작업에서 FlowState의 성능 및 효율성 이점을 입증합니다.

arXiv:2605.12039v2cs.CL

SkillGraph: 진화하는 스킬 그래프를 통한 에이전트용 스킬-증강 강화학습

SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs

스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 과거 상호작용의 경험을 재사용할 수 있게 하지만, 기존의 대부분의 라이브러리는 스킬을 고립된 항목으로 저장하고 의미론적 유사도만을 기준으로 검색합니다. 이는 조합적 태스크에서 두 가지 주요 문제를 야기합니다. 첫째, 에이전트는 관련 스킬뿐만 아니라 이들이 어떻게 상호 의존하고 서로를 기반으로 구축되는지도 파악해야 합니다. 둘째, 스킬을 언제 병합, 분할, 또는 제거해야 하는지 결정하기 위한 구조적 단서가 시스템에 부족하여 라이브러리 유지 관리도 어렵게 만듭니다. 우리는 재사용 가능한 스킬을 유향 그래프의 노드로 표현하고 유형화된 엣지로 선수 조건, 향상, 공존 관계를 부호화하는 프레임워크인 SKILLGRAPH를 제안합니다. 새로운 태스크가 주어지면 SKILLGRAPH는 개별 스킬뿐만 아니라 다단계 의사 결정을 안내할 수 있는 순서화된 스킬 서브그래프를 검색합니다. 이 그래프는 에이전트 궤적과 강화학습 피드백을 통해 지속적으로 업데이트되어 스킬 라이브러리와 에이전트 정책이 함께 개선될 수 있도록 합니다. ALFWorld, WebShop 및 7개의 검색-증강 QA 태스크에 대한 실험은 SKILLGRAPH가 메모리-증강 강화학습 방법들과 비교하여 최고 수준(state-of-the-art)의 성능을 달성하며, 특히 여러 스킬을 조합해야 하는 복잡한 태스크에서 큰 폭의 향상을 보임을 입증합니다.

arXiv:2603.08993v2cs.SE

Arbiter: LLM 에이전트 시스템 프롬프트의 간섭 탐지

Arbiter: Detecting Interference in LLM Agent System Prompts

LLM 기반 코딩 에이전트(agent)의 시스템 프롬프트(prompt)는 에이전트의 동작을 관장하는 소프트웨어 아티팩트이지만, 기존 소프트웨어에 적용되는 테스팅 인프라가 부족합니다. 본 논문에서는 시스템 프롬프트 내 간섭 패턴을 탐지하기 위해 정식 평가 규칙과 다중 모델(model) LLM 탐색(scouring)을 결합한 프레임워크인 Arbiter를 제시합니다. 세 가지 주요 코딩 에이전트 시스템 프롬프트인 Claude Code(Anthropic), Codex CLI(OpenAI), Gemini CLI(Google)에 적용한 결과, 비방향성 탐색 단계에서 152개의 발견 사항을 식별하고 특정 벤더에 대한 방향성 분석에서 직접 라벨링한 21개의 간섭 패턴을 식별했습니다. 우리는 프롬프트 아키텍처(모놀리식, 플랫, 모듈형)가 심각도와는 관련이 없으나 관찰된 장애 유형과 강한 상관관계가 있으며, 다중 모델 평가가 단일 모델 분석과는 범주적으로 다른 취약점 클래스를 발견한다는 점을 보여줍니다. 탐색기가 발견한 한 가지 사례인 Gemini CLI 메모리 시스템의 구조적 데이터 손실(loss) 문제는 Google이 접수하고 패치한 이슈와 일치했으나, 해당 패치는 탐색기가 식별한 스키마 수준의 근본 원인을 해결하지 않고 증상만 완화한 것이었습니다. 벤더 간 교차 분석의 총비용은 0.27달러(USD)였습니다.

arXiv:2603.08706v2cs.AI

에이전트 비판적 학습

Agentic Critical Training

모방 학습(IL)은 언어 모델 에이전트가 전문가의 행동을 재현하도록 가르치지만, 그 행동을 그럴듯한 실수와 구별하도록 가르치지는 못합니다. 자기 반성(self-reflection) 기법은 대안적 선택지에 모델을 노출시키지만, 고정된 근거(rationale)와 행동을 모방하기 위해 지도 미세조정(SFT)을 사용합니다. 본 논문에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 통해 모델이 행동을 직접 판단하도록 학습시키는 '에이전트 비판적 학습(ACT)'을 제안합니다. ACT는 전문가 궤적의 각 상태에서 전문가 행동과 초기 정책에서 샘플링된 대안 행동을 짝지어 그 순서를 무작위로 섞습니다. 모델은 자체적인 추론 과정을 생성하지만 전문가 행동을 선택했을 때만 보상을 받습니다. ACT는 시연(demonstration) 데이터를 재사용하고, 참조 근거를 요구하지 않으며, 모델 크기 전반에 걸쳐 쌍(pair)의 재사용을 허용합니다. ACT는 IL 이전의 웜업 단계로 적용되며, 선택적으로 이후에 강화학습을 거칠 수 있고, 추론 시에는 후보군 비교를 요구하지 않습니다. ALFWorld-ID, WebShop, ScienceWorld 전반에서 Qwen3-8B 및 Olmo-3-7B-Instruct를 대상으로 평가한 결과, ACT는 IL 대비 평균 5.85점, ACT를 적용하지 않은 IL$\to$RL 대비 4.12점의 성능 향상을 기록하는 동시에 ALFWorld-OOD 성능도 개선했습니다. ScienceWorld에서 Olmo 모델을 사용했을 때 전체 파이프라인은 CoT 프롬프팅 대비 15.36점, ACT를 적용하지 않은 IL$\to$RL 대비 9.23점 향상되었습니다. ACT$\to$IL과 전체 파이프라인 모두 지도 반성(supervised reflection) 베이스라인을 능가했습니다. 고정된 쌍이나 동일한 학습 시간을 적용한 대조군 실험은 이러한 성능 향상이 추가 데이터나 학습량이 아닌 ACT 목적 함수 자체에서 기인함을 보여줍니다. 추론 특화 사후 학습을 거치지 않고도 독립형 ACT 체크포인트는 MATH-500 및 GPQA-Diamond에서 평가된 모델 중 가장 높은 평균 점수를 달성하여, 행동 비교가 생성을 보완함을 입증합니다.

arXiv:2507.14897v2cs.AI

AgentFly: 통합 리소스 시스템을 통한 에이전트 강화학습의 스케일링

AgentFly: Scaling Agentic Reinforcement Learning with Unified Resource System

대규모 언어 모델(LLM) 에이전트를 구축하는 방법은 프롬프트 엔지니어링과 지도 미세조정(SFT)에서 에이전트 강화학습(agentic RL)으로 발전해 왔습니다. 그러나 에이전트 강화학습은 주변 시스템으로 인한 병목 현상을 여전히 겪고 있습니다. 에이전트는 샌드박스, 모델 서비스, 외부 API와 같은 이종 환경과 상호작용해야 하며, 이러한 환경의 할당, 재사용 및 수명 주기는 롤아웃(rollout) 비용의 대부분을 차지하고 실질적으로 학습(training) 가능한 규모를 제한합니다. 본 연구에서는 단일 엔진을 통해 스케줄링되는 개별적이고 유형화된 리소스로서 이러한 각 환경을 처리하는 통합 리소스 층(layer) 기반의 에이전트 강화학습 프레임워크인 AgentFly를 제시합니다. 이 프레임워크는 멀티턴 재사용을 위한 도구별 획득, 비동기 배압(backpressure), 롤아웃 범위 대 전역 범위의 수명 주기를 지원합니다. AgentFly는 4개 층 구조 설계를 채택합니다: (I) 에이전트, 도구, 보상 개념을 추상화하여 에이전트 강화학습을 에이전트, 도구 및 보상 함수 정의로 분해하는 에이전트 층; (II) 이들을 에이전트 루프로 구성하고 보상을 계산하는 롤아웃 층; (III) 롤아웃을 구성하고 문맥 정보를 주입하며 리소스를 배치하는 컨텍스트 층; (IV) 리소스 관리를 수행하는 저수준 리소스 층. 우리는 사전 구축된 도구 및 환경 모음을 제공하고, 여러 태스크와 모델에 걸쳐 성공적인 에이전트 학습을 입증하며, 에이전트 강화학습 프레임워크 간 최초의 통제된 처리량 비교 결과를 보고합니다.