PyTorchKR Papers

최신 논문

총 21편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.07980v2cs.LG

$OneMillion-Bench: 언어 에이전트는 인간 전문가와 얼마나 차이 나는가?

\$OneMillion-Bench: How Far are Language Agents from Human Experts?

언어 모델(LM)이 채팅 어시스턴트에서 다단계 추론과 도구 사용이 가능한 장기 호라이즌(long-horizon) 에이전트로 발전함에 따라, 기존 벤치마크는 여전히 실제 전문 업무의 요구에 미치지 못하는 구조화되거나 시험 형식의 과제에 주로 한정되어 있다. 이를 해결하기 위해 우리는 법률, 금융, 산업, 의료, 자연과학 분야에 걸친 400개의 전문가 선별 과제로 구성된 벤치마크 $OneMillion-Bench($OMB)를 소개하며, 이는 경제적으로 중대한 영향을 미치는 시나리오 전반에서 에이전트를 평가하기 위해 구축되었다. 기존 연구와 달리, 이 벤치마크는 권위 있는 출처 검색, 상충하는 증거의 해결, 도메인별 규칙 적용, 제약 조건 하의 의사결정을 요구하며, 정답 여부는 최종 답변만큼이나 추론 과정에도 좌우된다. 우리는 사실적 정확성, 논리적 일관성, 실용적 타당성, 전문 분야 규정 준수도를 평가하는 루브릭(rubric) 기반 평가 프로토콜을 채택하였으며, 에이전트 간 의미 있는 차별화를 보장하기 위해 전문가 수준의 문제에 초점을 맞춘다. 종합적으로, $OMB는 에이전트의 신뢰성(agentic reliability), 전문적 깊이, 그리고 도메인 집약적 시나리오에서의 실무 준비도를 평가하기 위한 통합 테스트베드를 제공한다.

arXiv:2609.37522v2cs.LG

기성 교사 모델로부터의 그래프 조건부 온-정책 에이전트 증류

Graph-Conditioned On-Policy Agent Distillation from Off-the-Shelf Teachers

온-정책(on-policy) 증류(OPD)는 학생이 생성한 궤적에 대한 교사의 피드백을 통해 소형 언어 에이전트를 학습시킵니다. 멀티턴 태스크에서는 누적되는 오차로 인해 학생이 교사의 효과적인 지도 범위를 벗어날 수 있습니다. 본 연구에서는 실행 증거를 바탕으로 기성(off-the-shelf) 교사 모델의 채점 컨텍스트를 풍부하게 하는 그래프 조건부 온-정책 에이전트 증류(GC-OPD)를 제안합니다. 그래프는 완전한 성공 및 실패 이력을 보존하면서 공유된 상태를 기준으로 반복적인 교사 실행을 색인화합니다. 각 학생 에피소드 후, GC-OPD는 현재 상태 참조 또는 과거의 대안을 검색하고 이를 학생의 사후 판단과 결합하여 원래의 생각-행동 토큰을 채점합니다. 동일한 기존 교사를 사용할 때, GC-OPD는 바닐라 OPD 대비 평균 성공률을 ScienceWorld(4B 학생)에서 24.70%에서 48.78%로, ALFWorld Unseen에서 53.36%에서 85.26%로, WebShop에서 29.10%에서 37.65%로 향상시킵니다. 일치하는 학생 크기에서 ScienceWorld 및 ALFWorld의 GRPO 학습 교사를 사용하는 모든 평가 대상 OPD 기준선보다 높은 평균 성공률을 달성하며, 가장 강력한 ScienceWorld 4B 기준선은 46.66%에 도달합니다. GC-OPD는 태스크별 교사 최적화를 필요로 하지 않습니다.

arXiv:2609.24744v1cs.AI

World State Generator

World State Generator

언어 에이전트(agent)는 계획과 행동을 통해 복잡한 작업을 해결한다. 세계(world)가 거부하는 단 한 번의 단계만으로도 목표는 손이 닿지 않는 곳으로 밀려나며, 에이전트가 다음에 무엇을 하는지가 그 작업의 성패를 결정한다. 프롬프트 기반 플래너(prompted planner)는 바로 이 지점에서 실패한다. 거부된 단계를 다른 말로 다시 작성해도 같은 거부에 부딪히며, 진전 없이 시도 예산(attempt budget)만 소진한다. 이들이 실패하는 이유는 계획이 애초에 세계와 연결되어 있지 않았기 때문이며, 그래서 거부가 발생해도 계획 안에는 이를 붙잡아 둘 지점이 없다. 세계란 작업이 실행되는 공간으로, 고유한 규칙, 고유한 허용 가능 행동, 고유한 제약을 가진다. 우리는 7개 도메인에 걸쳐 합성 세계(synthetic world)를 구축하고 여기서 학습 데이터를 추출한다. 프로그램이 각 세계의 규칙을 강제하고 목표를 채점하며, 초기 상태에서 목표에 도달 가능한 경우에만 각 세계를 채택한다. 에이전트는 이 세계 안에서 실행되며, 검증된 실패(verified failure)와 그 실행을 세계가 인증한 상태로 이끈 복구(repair)를 짝지어 남기는데, 이는 약 22만 6천(226K) 개의 궤적(trajectory) 기록에 해당한다. 우리는 이 기록을 바탕으로 World State Generator(WSG)를 학습시킨다. 이는 계획을 세계의 검증 가능한 상태(checkable state)들로 작성하고, 그 계획을 실행되는 세계와 계속 정합(align)시키는 모델(model)이다. 이러한 정합은 언어로 작성된 계획에는 결여된 것인데, 계획이 실행되는 세계에는 언어가 결코 명시하지 않는 물리적 한계, 논리적 의존관계, 필수 순서가 존재하며, 계획은 어떤 상태가 실패할 때에야 비로소 이러한 규칙과 마주치기 때문이다. WSG는 그 실패를 세계가 제시한 규칙으로 받아들이고, 나머지 상태들을 그 규칙에 따르도록 다시 작성함으로써, 실행이 진행됨에 따라 계획이 세계에 맞춰 휘어지도록 한다. 7개의 공개 벤치마크(benchmark)에서 WSG는 300억(30B) 파라미터에 가까운 두 개의 오픈소스 모델의 종단 간(end-to-end) 성공률을 프롬프팅 대비 끌어올리며, 이를 독점(proprietary) 모델 수준까지 끌어올린다.

arXiv:2607.23942v1cs.AI

인지 아키텍처에서 언어 에이전트로: 계보, 수렴, 이전 격차에 대한 메커니즘 수준 리뷰

From Cognitive Architectures to Language Agents: A Mechanism-Level Review of Lineage, Convergence, and Migration Gaps

메모리, 계획, 반성(reflection), 도구 사용은 종종 특징 라벨로 비교되어, 에이전트가 실제로 어떻게 실행되는지를 결정하는 제어 의미론(control semantics)을 가려 버린다. 이 리뷰는 10개의 역사적 인지 아키텍처, 8개의 언어 에이전트 런타임 계열, 42개의 메커니즘 중심 현대 시스템을 연결한다. 각 메커니즘을 상태, 제어, 전이, 지속성, 실패, 학습, 자원 거버넌스를 통해 재구성한 뒤, 증거 관계(E1–E4)와 이전 깊이(D0–D4)를 별도로 코딩한다. 그 결과로 드러난 지형은 고르지 않다. 현대 에이전트는 적응형 메모리, 실패 복구, 동적 팀 선택, 워크플로우 탐색, 스킬 유도(skill induction), 자원 스케줄링, 불확실성 조건 행동(uncertainty-conditioned action)의 상당 부분을 실현화했지만, 종종 문서화된 계승(inheritance)보다는 독립적인 수렴을 통해 이루어졌다. 가장 큰 남은 기회는 메커니즘 간 결합(couplings)에 있다. 가장 근접한 기준선 스크리닝은 제안된 격차 중 하나를 메운다: GraSP는 이미 보정된 다중 스킬 선택, 타입화된 컴파일, 검증, 경계(bounded) 수리, 재계획 또는 ReAct 폴백을 결합한다. 5개의 잔여 번들이 남아 있다: 지연(latency)과 행동 유틸리티(action utility)를 갖춘 활성화(activation); 격리된 하위 상태(isolated substates)와 해결 컴파일(resolution compilation)을 갖춘 타입화된 교착 상태(typed impasse); 브로드캐스트와 승인 학습(admission learning)을 갖춘 경계 내 콘텐츠 경쟁(bounded content competition); 재고(reconsideration)와 실시간 방법 권한(live method authority)을 갖춘 지속적 의도(persistent intention); 자원 할당, 중단(interruption), 정지(stopping)를 갖춘 불확실성. 우리는 독특한 메커니즘 카탈로그, 감사 가능한 증거 깊이 프레임워크, 이 번들들을 조합 가능한 런타임 불변량(composable runtime invariants)으로 검증하기 위한 반증 가능한(falsifiable) 의제를 기여한다.

arXiv:2607.20668v1cs.CL

에이전트 실패에서 텍스트 정책까지: 무엇이 효과적이고 무엇이 한계인가

From Agent Failures to Text Policies: What Works and What Breaks

TextGrad는 피드백을 바탕으로 텍스트를 수정함으로써 언어 모델 시스템을 개선한다. 핵심 논지는 자연어 피드백이 모델 가중치를 변경하지 않고도 텍스트 구성 요소를 최적화하는 그래디언트 역할을 할 수 있다는 것이다. 에이전트에 적용하는 것은 더 어려운데, 피드백이 일련의 행동이 끝난 후에만 도착하기 때문에 어떤 결정이 실패를 초래했는지 식별하기 어렵기 때문이다. 우리는 유용한 정책을 따르는 능력과 경험으로부터 그 정책을 학습하는 능력을 분리하여 이 문제를 연구한다. 주요 발견은 이 두 능력 사이에 뚜렷한 격차가 존재한다는 것이다. 사람이 작성한 정책은 TextWorldExpress에서 두 개의 고정(frozen) 7B 에이전트의 성공 점수를 5.0포인트 향상시켜, 유용한 정책 텍스트가 존재함을 보여준다. 그러나 에이전트 궤적(trajectory)에서 생성된 정책은 더 풍부한 trace, 반사실적(counterfactual) 증거, 또는 반복적 GEPA 탐색을 사용하더라도 고정 프롬프팅을 안정적으로 능가하지 못한다. 따라서 에이전트 수준의 TextGrad의 주요 과제는 텍스트 정책 업데이트를 실행하는 것이 아니라, 경험으로부터 이를 안정적으로 생성하고 선택하는 것이다.

arXiv:2607.20764v1cs.AI

ArbiGraph: 컨텍스트 관리 평가를 위한 임의 확장 가능한 검증 태스크 그래프

ArbiGraph: Arbitrarily Scalable Verifiable Task Graphs for Evaluating Context Management

우리는 확장된 추론 워크플로에서 도구 지원 언어 에이전트가 작업 관련 컨텍스트를 유지, 갱신, 조합, 폐기할 수 있는지 평가하기 위한 벤치마크 생성기인 ARBIGRAPH를 소개한다. ARBIGRAPH는 각 작업을 실행 가능한 Python 솔버가 있는 자연어 문제로 표현하며, 여기서는 스칼라 및 리스트 값으로 구현된 타입이 지정된 중간 상태를 통해 작업을 구성한다. 이 설계는 길이, 의존성 구조, 방해 요소(distractor) 수, 값 유형을 변화시킬 수 있는 제어 가능한 태스크 그래프를 가능하게 하면서 정확한 자동 검증을 유지한다. 우리는 수학, GSM 스타일 단어 문제, Python 추적 작업 범주로 ARBIGRAPH를 구현하고, 네 가지 토폴로지에 걸쳐 Qwen3.5-27B 도구 지원 에이전트를 평가한다. 결과는 독립 작업에서 높은 정확도를 보이지만 더 복잡한 의존 작업에서는 상당한 성능 저하를 보인다: 의존 수학 작업의 분기 체인에서 정확도가 최대 33.3%까지 하락한다. 이는 ARBIGRAPH가 단일 작업 평가만으로는 드러나지 않는 실패를 노출함을 보여준다. 코드, 생성된 데이터셋, 평가 결과는 https://github.com/pavelgolikov/ArbiGraph.git 에서 이용할 수 있다.

arXiv:2607.19739v1cs.IR

자율 언어 에이전트를 통한 개인화 추천 도구 학습

Personalized Recommendation Tool Learning via Autonomous Language Agents

대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식으로 인해 최근 추천 시스템에서 주목받고 있지만, 기존 LLM 기반 에이전트는 환각과 컨텍스트 길이 제한에 시달려 전체 순위(full-ranking) 추천 작업에 적합하지 않다. LLM 자체를 수정하기보다 아키텍처 설계를 통해 이러한 한계를 우회하기 위해, LLM이 여러 추천 모델을 도구로 상호작용하는 중앙 계획자 역할을 하는 메모리 기반 Personalized Recommendation Tool learning via autonomous language Agents(PRTA) 에이전트 기반 추천 프레임워크를 제안한다. LLM 기반 에이전트는 고수준 추론과 개인화된 도구 선택을 담당하고, 전통적인 추천 모델은 행동 패턴 모델링에서의 확장성을 활용하여 전체 순위 점수 산출을 수행한다. 개인화된 도구 선택을 지원하기 위해, 사용자 프로필과 후보 순위 목록을 기반으로 각 사용자에 대해 도구를 평가하고 비교할 수 있도록 에이전트에 반성(reflection) 메커니즘을 설계한다. 세 개의 공개 데이터셋에 걸친 광범위한 실험은 전체 순위 추천 성능 향상에서 PRTA가 전통적인 추천 및 LLM 기반 베이스라인 대비 우수함을 보여준다.

arXiv:2607.05690v2cs.AI

루프 내 메모리: 언어 에이전트를 위한 확장된 작업 메모리로서의 인-프로세스 검색

Memory in the Loop: In-Process Retrieval as Extended Working Memory for Language Agents

언어 에이전트의 추론 루프 내부에서 매 단계마다 메모리를 읽고 쓰는 "루프 내 메모리(memory in the loop)" 체계를 연구하며, 기존의 지연 시간 문제가 네트워크 기반 저장소의 특성에서 비롯됨을 지적하고 인-프로세스 저장소(~100µs)를 활용해 이를 해소할 수 있음을 실험적으로 입증한다. GPT-5급 모델 실험에서 인-프로세스 메모리 적용 시 재현율이 0/5에서 3.6–4.8/5로 향상되었으며, 저장소 응답 속도만 변화시켜도 중복 행동 발생률이 단조적으로 달라진다는 인과 관계를 확인했다.

arXiv:2607.14171v1cs.LG

분기 정책 최적화: 샌드박스 네이티브 언어 에이전트 강화학습

Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning

강화학습은 실행 가능한 샌드박스와 상호작용하는 대규모 언어 모델(LLM) 에이전트를 학습하기 위한 지배적인 패러다임으로 부상했다. PPO, RLOO, GRPO와 같은 최첨단 알고리즘은 RLHF로부터 롤아웃 토폴로지를 물려받는다. 각 프롬프트에 대해 초기 상태에서 N개의 독립 궤적이 샘플링되고, 그룹 기준선을 빼서 어드밴티지를 계산한다. 이 설계는 에이전트 샌드박스의 정의적 특성을 무시한다. 샌드박스는 결정적이며 스냅샷 가능하고, 임의의 중간 상태에서 재개할 수 있다. 우리는 이 특성이 근본적으로 다른 롤아웃 토폴로지를 가능하게 한다고 주장한다. 깊이 T인 N개의 독립 트리 대신, 형제가 접두 문맥을 공유하고 따라서 분산을 공유하는 N개의 잎을 가진 단일 트리를 구성할 수 있다. 우리는 이 아이디어를 Branching Policy Optimization(BPO)으로 구체화한다. BPO는 (i) 백본 궤적을 따라 고엔트로피 의사결정 지점에서 샌드박스를 적응적으로 스냅샷하고, (ii) 각 분기점에서 K개의 대안 행동을 분기하여 각각 종료까지 롤아웃하며, (iii) 독립적인 프롬프트가 아니라 형제 반환으로부터 단계별 어드밴티지를 계산하는 샌드박스 네이티브 RL 알고리즘이다. 우리는 이 추정량이 불편(unbiased)이며 궤적 수준 기준선보다 엄격히 더 낮은 분산을 갖는다는 것을 증명하며, 그 감소량은 반환 분산 중 접두 문맥으로 설명되는 부분과 같다. WebShop, ALFWorld, SWE-bench Verified에서 Qwen2.5-7B와 Llama-3.1-8B 백본을 사용할 때, BPO는 동일한 연산량에서 GRPO와 RLOO 대비 성공률을 절대 3.6–6.1퍼센트포인트 향상시키고, 그래디언트 노름 분산을 절반으로 줄이며, 정책 업데이트를 38% 더 적게 사용하여 최고 기준선과 동등한 성능을 달성한다.

arXiv:2604.00830v3cs.LG

테스트 시간 학습을 학습하기: 학습 가능한 적응 정책을 갖는 언어 에이전트

Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies

테스트 시간 학습(TTL)은 언어 에이전트가 추론 시점에 환경과 반복적으로 상호작용함으로써 성능을 반복적으로 개선할 수 있게 한다. TTL의 핵심은 이전 에피소드의 경험을 바탕으로 액터 정책을 업데이트하여 이후 행동을 개선하는 적응 정책이다. 기존 방법들은 하위 개선을 위해 최적화하기보다는 고정된, 수작업으로 설계된 적응 정책에 의존한다. 우리는 최적의 적응 정책이 인간의 직관에 기반하여 수작업으로 설계되는 것이 아니라 과제 환경으로부터 학습되어야 한다고 주장한다. 이를 위해 우리는 효과적인 적응 정책의 발견을 이중 수준 최적화 문제로 공식화하는 프레임워크인 Meta-TTL을 제안한다. 이 프레임워크 내에서, 내부 루프는 표준 TTL 과정을 실행하며, 후보 적응 정책이 순차적 에피소드에서 에이전트가 오류를 교정하는 데 얼마나 효과적으로 도움을 주는지 측정한다. 에이전트의 성능에 따라 외부 루프는 다양한 학습 과제 분포에 대한 진화 탐색을 통해 적응 정책을 지속적으로 최적화한다. 우리는 Meta-TTL을 Jericho, WebArena-Lite, $τ^2$-bench에서 분포 내(ID) 및 분포 외(OOD) 설정 모두에 대해 평가한다. 세 벤치마크 모두에서 Meta-TTL은 단일 에이전트, 프롬프트 최적화, 최적화되지 않은 메타-에이전트 기준선들을 일관되게 능가하며, 최적화된 적응 정책이 학습 과제 분포를 넘어 일반화되는 전이 가능한 전략을 인코딩함을 시사한다.

arXiv:2607.12267v1cs.LG

추적, 순위화, 해결: 인식론적 작업 기억이 언어 에이전트의 다중 홉 추론을 확장한다

Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents

추론과 도구 사용을 번갈아 수행하는 언어 에이전트는 각 개별 단계가 쉬운데도 추론 체인이 길어질수록 성능이 급격히 저하된다. 이를 컨텍스트 희석(context dilution)으로 귀인한다. 에이전트의 조사 상태(확인한 내용, 의심하는 내용, 아직 필요한 내용)가 점점 커지는 컨텍스트 윈도우에 암묵적으로만 존재하며, 초기 발견이 이후 검색 결과 아래에 묻혀 버리기 때문이다. 우리는 SLEUTH를 제안한다. 이는 구조화된 인식론적 작업 기억(epistemic working memory)을 통해 이 상태를 명시적이고 실행 가능하게 만든다. 에이전트는 출처에 그라운딩된 확인된 사실(Confirmed Facts), 증거에 따라 순위가 매겨진 활성 가설(Active Hypotheses), 다음 행동을 직접 이끄는 미해결 질문(Open Questions)을 유지한다. 5개의 다중 홉 벤치마크와 5개의 기존 베이스라인에 걸쳐, SLEUTH의 이점은 난이도가 높아질수록 커져 HotpotQA에서 +5점, 4-hop 체인에서 +11점에 이르며, 여러 에피소드 없이 Reflexion을 능가한다. 남은 격차가 어디에 있는지 분석한 결과, 증거 충분성 문제(evidence sufficiency problem)를 확인했다. 에이전트는 종종 답을 찾지만 확정(commit)하지 못하고, 불필요한 검증에 예산을 소진한다. 경량 확정 트리거가 이를 해결하지만, 에이전트가 이미 구조화된 상태를 유지할 때에만 효과가 있다. 동일한 트리거를 비구조화 에이전트에 적용하면 개선이 없어, 조직화된 인식론적 상태가 효과적인 확정의 필요 조건임을 분리해 보여준다. 마지막으로, 더 약한 모델에 프로토콜 준수를 강제하면 가장 어려운 문제에서 최대 +19점까지 회복되며, 다중 홉 추론을 확장하는 핵심 요소는 원시 모델 역량이 아니라 에이전트가 추론을 조직하는 방식임을 보여준다.

arXiv:2511.20297v2cs.AI

BREW를 통한 언어 에이전트 개선: 경험 기반 환경 지식의 부트스트래핑

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

대규모 언어 모델(LLM) 기반 에이전트는 GUI 자동화, 도구 사용, 데이터 조작 등 복잡한 다단계 작업을 수행하는 능력이 점점 향상되고 있으나, 경험으로부터 학습할 수 없다는 한계가 있다: 새로운 세션마다 솔루션을 처음부터 다시 발견해야 한다. 우리는 BREW(Bootstrapping expeRientially-learned Environmental knoWledge)를 소개한다. 이는 에이전트의 과거 상호작용 궤적을 구조화된 검색 가능한 지식 베이스(KB)—무엇을 해야 하는지, 언제 적용되는지, 무엇을 주의해야 하는지를 담은 개념 수준의 절차적 문서인 자연어 레시피—로 증류하는 프레임워크이다. 프로그램 합성의 라이브러리 학습 원리에 기반하여, BREW는 에이전트 메모리를 모듈형의 개념 지역화 문서로 분해하고, KB 구성을 상태 공간 탐색 문제로 형식화한다. 이 공간을 탐색하기 위해, 우리는 병렬적 개념별 탐색 트리 전반에 걸쳐 레시피 정확도와 검색 가능성을 공동으로 최적화하는 보상 기반 알고리즘인 Expand-and-Gather 몬테카를로 트리 탐색(EG-MCTS)을 도입한다. 또한 사후 레이블링(hindsight relabeling)을 적용하여 근접 실패 궤적을 긍정적 시연으로 변환함으로써, 잠재적 에이전트 역량을 재사용 가능한 지식으로 표면화한다. OSWorld, tau^2-Bench, SpreadSheetBench의 세 가지 도메인 기반 벤치마크에서 BREW는 기본 에이전트 대비 작업 성공률 10~20% 향상과 실행 단계 10~15% 감소를 달성하였으며, 메모리 없는 성능 이하로 저하될 수 있는 기존 메모리 증강 기준 모델들을 지속적으로 능가하였다. 결과로 생성된 KB는 검사 가능하고 모듈형이며 확장 가능하여, 에이전트 최적화를 위한 투명하고 제어 가능한 기반을 제공한다.

arXiv:2607.05804v1cs.AI

TurnOPD: 효율적인 장기 지평 에이전트 학습을 위한 턴 인식 온-정책 지식 증류

TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

온-정책 지식 증류(OPD)는 학생 정책이 자신의 궤적 위에서 더 강력한 교사와 매칭되도록 학습시키는 방법으로, 언어 에이전트 학습을 위한 유망한 프레임워크를 제공한다. 그러나 장기 지평(long-horizon) 에이전트 과제에 대한 적용은 아직 충분히 탐구되지 않았다. 우리는 기본적인 에이전트 OPD에서 두 가지 핵심 비효율성을 식별한다: (1) 전체 지평 롤아웃은 약하고 잡음이 많은 KL 감독을 제공하는 후반 턴에 실제 시간(wall-clock) 자원을 낭비하는 경우가 많고, (2) 궤적 수준의 KL 목적 함수는 대부분의 손실을 얕은 토큰에 집중시켜, 초기 행동이 정렬된 후 더 깊은 결정 턴이 충분히 학습되지 않는다. 이러한 문제를 해결하기 위해, 우리는 장기 지평 에이전트의 효율적인 온-정책 지식 증류를 위한 턴 수준 예산 전략인 TurnOPD를 제안한다. TurnOPD는 두 가지 예산 컨트롤러로 구성된다: 프로브 기반 턴 통계를 활용하여 롤아웃 길이를 결정하는 적응적 롤아웃 깊이 예산 책정(adaptive rollout-depth budgeting), 그리고 KL 가중치를 토큰 수준에서 턴 균형 감독으로 점진적으로 전환하는 점진적 턴 정규화 손실 예산 책정(progressive turn-normalized loss budgeting)이다. 과제별 특화 교사 모델을 사용한 ALFWorld, WebShop, Multi-Hop Search에서의 실험 결과, TurnOPD는 동일한 실제 시간 학습 예산 하에서 우수한 검증 정확도를 달성하고, 기본적인 OPD를 넘어 정확도-시간 프론티어를 개선함을 보인다.

arXiv:2606.31422v1cs.AI

Ask the World Before Acting: Budgeted Environment Probing for World-Model Calibration

장기 계획을 수행하는 언어 에이전트가 월드 모델(world model)의 신념 필드(belief field)가 환경과 어긋날 때 발생하는 실패를 분석하고, 제한된 스텝 예산 내에서 환경에 직접 질의하여 신념을 교정하는 EnvProbe 연산자를 제안한다. 절차적(procedural) 신념과 공간적(spatial) 신념의 유형별 분석을 통해, 구조적 탐색 기준을 따르는 프로빙(probing) 정책이 자기 불확실성 신호만 사용하는 방식보다 최종 월드 모델 오류를 효과적으로 줄임을 실험적으로 입증한다.

arXiv:2606.29916v1cs.LG

EVAF: 선택적 매개변수 통합을 위한 테스트-재테스트 프로토콜

EVAF: A Test-Retest Protocol for Selective Parametric Consolidation

장기 실행 언어 에이전트(agent)가 어떤 경험을 모델 파라미터에 영구적으로 각인할지 선택적으로 결정하는 문제를 다루며, 가성(valence)과 놀람(surprise)의 이중 게이트로 고가·고놀람 경험만 게이티드 LoRA에 통합하는 EVAF(Echo-Valence Attractor Field) 메커니즘과 테스트-재테스트 프로토콜을 제안한다. GPT-2 및 TinyLlama 등 네 가지 아키텍처에서 EVAF는 동결·검색 전용·비게이팅 지속 업데이트 기준선 대비 간섭 후 행동 지속성이 높고 파라미터 드리프트는 낮으며, 사실 검색과 경험 내면화가 서로 구별되는 연산임을 실험적으로 뒷받침한다.

arXiv:2606.26790v1cs.CL

OPID: 에이전트 강화학습을 위한 온-정책 스킬 증류

OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

완료된 온-정책 궤적에서 계층적 후견 스킬(에피소드·스텝 수준)을 추출해 중요 결정 시점 중심으로 라우팅하고, 스킬 증강 컨텍스트에서의 로그 확률 변화를 토큰 수준 자기 증류 이점으로 만들어 결과 기반 강화학습(RL)과 결합하는 OPID를 제안한다. ALFWorld, WebShop, 검색 기반 QA에서 결과만 쓰는 RL과 기존 스킬 증류 베이스라인 대비 에이전트 성능, 샘플 효율, 견고성이 전반적으로 향상되었다.

arXiv:2606.26918v1cs.AI

언어 에이전트의 작업 비민감성 진단

Diagnosing Task Insensitivity in Language Agents

LLM 에이전트의 분포 외(OOD) 일반화 실패 원인을 작업 비민감성(task insensitivity)으로 진단했으며, 지시문이 손상되거나 유사한 다른 작업으로 바뀌어도 학습된 행동 패턴을 그대로 따르고 작업 토큰보다 국소 관측에 어텐션이 치우치는 현상을 확인했다. 이를 완화하기 위해 작업 지시에 대한 행동 의존성을 높이는 경량 대조 정규화 Task-Perturbed NLL Optimization을 제안했고, ALFWorld·ScienceWorld·WebShop 평가에서 작업 민감성과 OOD 일반화가 개선됨을 보였다.

arXiv:2606.26806v1cs.AI

메모리 접근이 아닌 메모리 깊이: 장시간 실행 언어 에이전트를 위한 선택적 파라미터 통합

Memory Depth, Not Memory Access: Selective Parametric Consolidation for Long-Running Language Agents

장시간 실행 언어 에이전트는 검색이 다루지 못하는 메모리 깊이(memory depth), 즉 작업 컨텍스트 언로드 후에도 지속되는 목표 조건부 경향을 소규모 파라미터 저장소에 기록하는 문제를 제기하고 loop-drift 프로토콜로 이를 분리 평가한다. 놀람(surprise)과 정서 가치(valence) 게이팅 LoRA 통합인 EVAF는 GPT-2·TinyLlama에서 목표 지속성·언로드 후 회복 0.812–0.904를 달성하며, 200개 이벤트당 2–3회 쓰기로 얕은 사실 회상에 강한 RAG와 상보적임을 보였다.

arXiv:2601.11957v4cs.CL

PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

겹치는 일정 초대에 따른 캘린더 충돌 해결(calendar conflict resolution)을 1년치 라운드형으로 평가하는 벤치마크 CalConflictBench를 제안하고, 외부 선호 메모리와 라운드별 보상으로 사용자 선호를 점진 추론·적응하도록 학습하는 강화학습(RL) 프레임워크 PEARL을 소개한다. 실험에서 기존 LLM 에이전트는 Qwen-3-30B-Think 기준 평균 오류율 35% 등 높은 실패율을 보였고, PEARL은 최강 베이스라인 대비 평균 오류율 55% 개선과 오류 감소율 0.76을 달성했다.

arXiv:2606.21315v1cs.AI

평생 사회 지능을 위한 사회적 세계 모델

Social World Model for Lifelong Social Intelligence

사회적 지능(social intelligence)은 언어 에이전트(language agent)의 핵심 역량이지만, 현재 연구는 이러한 기술이 지속적으로 형성되고 축적되는 방식보다 정적인 능력 평가(evaluation)에 주로 초점을 맞추고 있다. 이러한 공백은 지속 가능한 학습(training) 패러다임으로의 전환을 요구한다. 현재 두 가지 방법론적 난점이 존재한다: 사회적 상호작용 궤적(trajectory)은 반복 가능한(iterable) 학습 신호를 형성하기 위한 통합된 구조화 표현(structured representation)이 부족하고, 능력 향상과 유지(retention)는 일반적으로 독립적으로 연구되어 지속적인 진화(evolution)의 평가를 방해한다. 이 공백을 메우기 위해 우리는 Social World Model을 제안한다. 우리는 사회적 상호작용을 다섯 가지 차원(장면 설정, 관찰, 정신 상태, 행동, 대화)으로 분해하여 폐루프(closed-loop) 학습 프레임워크를 구축한다. 이 설정에서 에이전트(agent)는 상호작용 경험을 수집하고, 이를 모델 업데이트를 위한 선호 신호(preference signal)로 변환하며, 지속적인 학습을 위해 업데이트된 정책(policy)을 재배포한다. 또한 재사용 가능한 데이터 합성(synthesis) 메커니즘과 평생 학습(lifelong learning) 벤치마크를 제공하여, 사회적 능력을 "평가의 대상"에서 "지속 가능한 학습의 대상"으로 전환한다. ASCENT-Bench에서 프레임워크를 검증한 결과, 상호작용적으로 학습된 Qwen2.5-7B 모델은 다섯 가지 핵심 지표 전반에서 기준선(baseline)을 능가한다. 특히 completion rate에서는 폐쇄형 Gemini 3 Flash와 동등한 성능을 달성하고, pass rate에서는 이를 능가하며, 세 가지 난이도 수준에서 망각 제로(zero forgetting)를 달성한다. 정적 비교나 능력 저하(decay)만 보고하는 선행 연구와 달리, 이 end-to-end 접근법은 학습 가능하고 검증 가능하며 유지 가능한 경로를 제공하며, 소규모 오픈소스 모델이 경쟁력 있는 사회적 조율(social coordination) 능력을 지속적으로 습득할 수 있음을 보여준다.