PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21654v2cs.AI

ChainWorld: 원자적 OSWorld 태스크로부터 장기 호라이즌 데스크톱 워크로드 구성

ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks

컴퓨터 사용 에이전트(computer use agent)는 거의 전적으로 원자적 데스크톱 태스크에서 평가되지만, 현실적인 데스크톱 작업은 여러 목표에 걸쳐 상태를 유지해야 한다. 우리는 ChainWorld로 이 격차를 연구한다. ChainWorld는 원본 평가기를 보존하면서 방향성 호환성 탐색(directional compatibility search)을 통해 원자적 OSWorld 태스크를 장기 호라이즌 데스크톱 워크로드로 구성한다. 결과 워크로드는 길이 2~4의 347개 체인을 포함하며, 동일한 태스크 시퀀스의 두 가지 렌더링을 비교한다. 단일 턴(single turn) 평가에서는 모든 태스크가 하나의 프롬프트에 함께 제시된다. 다중 턴(multi turn) 평가에서는 태스크가 한 번에 하나씩 공개된다. 현재 4개의 컴퓨터 사용 에이전트에서 최대 체인 완료율은 31%이다. 다중 턴 평가는 세 모델의 완료율을 향상시키지만, 두 프로토콜 모두 여전히 어렵다. 두 프로토콜은 서로 다른 실패 프로필도 드러낸다. 단일 턴 실패는 산출물 정밀도에 집중되는 반면, 다중 턴 실패는 더 자주 단편화된 진행이나 후반 턴 이탈과 같은 세션 관리(session management) 문제를 반영한다.

arXiv:2512.23075v5cs.LG

장기 지평 LLM 강화학습을 위한 신뢰 영역 마스킹

Trust Region Masking for Long-Horizon LLM Reinforcement Learning

LLM 강화학습에서 정책 그래디언트의 대리 목적함수 근사 오차 상한이 시퀀스 길이 $T$에 대해 $O(T^2)$로 증가해 장기 지평 과제에서 이론적 보장이 무의미해지는 문제를 분석하고, KL·TV 기반 개선 상한(Pinsker-Marginal $O(T^{3/2})$, Mixed $O(T)$, Adaptive)을 도출한다. 이를 바탕으로 신뢰 영역을 위반하는 시퀀스 전체를 마스킹하는 Trust Region Masking(TRM)을 제안하여 장기 지평 LLM-RL에서 최초의 비공허(non-vacuous) 단조 개선 보장을 달성하고 수학적 추론 벤치마크에서 학습 안정성을 실증한다.

arXiv:2606.26563v1q-bio.GN

scBench-Long: 장기 단일세포 생물학의 검증 가능한 벤치마킹

scBench-Long: Verifiable Benchmarking of Long-Horizon Single-Cell Biology

장기 단일세포 생물학을 위한 scBench-Long 벤치마크를 제안하며, 에이전트가 정해진 방법 없이 원시 또는 준-원시 데이터에서 흑색종 CD8 T세포 반응성, RNA+ATAC 조절, COVID-19 폐 병리 등 21개 과제의 과학적 결론을 복원하는지 결정론적 채점과 궤적 루브릭으로 평가한다. 1,068개 완료 궤적에서 최고 성능 모델-하네스 쌍도 63회 실행 중 16회(25.4%)만 통과해, 현재 에이전트가 국소 분석을 넘어 단일세포 데이터로 뒷받침되는 복잡한 주장을 내기에는 여전히 어렵다는 점을 보여준다.

arXiv:2606.24626v1cs.AI

SAFARI: Scaling Long Horizon Agentic Fault Attribution via Active Investigation

As autonomous agents tackle increasingly complex multi-step, multi-agent tasks, their execution trajectories have scaled beyond the constraints of even the largest context windows. Current methods for effectively diagnosing agent failures load the full trajectory into an LLM's context window, which suffers from attention dilution and fails when agentic traces inevitably exceed context limits. To address this, we introduce SAFARI (Scaling long-horizon Agentic Fault AttRibution via active Investigation), a framework that replaces linear context loading with a tool-augmented diagnostic loop. By equipping LLMs with a specialized toolbox to read and search trajectory segments alongside a persistent Short-Term Memory (STM) for cross-turn reasoning, SAFARI effectively decouples diagnostic accuracy from architectural context limits. Our experiments demonstrate that SAFARI outperforms state-of-the-art results by 20% on the Who&When dataset within a 1M token budget, and by 19% on TRAIL GAIA subset on a 25K token budget. Most significantly, SAFARI maintains a 0.58 precision even when the target fault resides 5x beyond the model's native context window, a scenario where traditional evaluators fail entirely.

arXiv:2606.17391v1cs.CL

NarrativeWorldBench: 장기 공동 창작 오디오 드라마를 위한 프론티어 포화 벤치마크와 잠재 세계 모델

NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama

200~800화 규모의 아크를 갖는 장편 연재형 오디오 드라마는 주요 창작 매체이며, 프론티어 대규모 언어 모델(LLM)이 실패하는 분야이기도 하다. 클래식, 파인튜닝, 오픈 프론티어, 클로즈드 프론티어, 추론 등급에 걸친 21개 모델을 동일한 구조적 내러티브 지표 집합으로 벤치마킹한다. 모든 클로즈드 프론티어 시스템은 플롯 비트 F1이 [0.78, 0.81] 구간에서 포화되며, 지평 h=200에서 약 -0.20 F1만큼 붕괴한다. NarrativeWorldBench를 제안한다. 이는 지평 h ∈ {10, 20, 50, 100, 200}에서 평가되는 9개의 내러티브 구조 지표로 구성된 공개 벤치마크이며, 힌디어, 타밀어, 텔루구어, 마라티어 등 4개 인도어에 대한 교차 언어 평가를 포함한다. N-VSSM(Narrative Variational State-Space Model)을 제안한다. 이는 이벤트 조건부 사후분포와 8B 디코더를 갖춘 Mamba-2 백본을 통해 200화 이상에 걸쳐 구조화된 256차원 잠재 세계 상태를 유지한다. N-VSSM은 클로즈드 프론티어 구간 대비 4배 낮은 연산량으로 모든 지평에서 플롯 비트 F1 >= 0.84를 유지한다. 학습된 Cultural Transfer Function은 교차 언어 충실도를 Likert 척도 +0.20~+0.23점만큼 향상시킨다. 전문 작가 12명(n = 12, 240 trials)을 대상으로 한 피험자 내(within-subjects) 작가 연구에서, N-VSSM은 장기 아크 일관성에서 Claude Opus 4.5보다 71%의 경우 선호되었으며, 제어 가능성(controllability)에서는 Likert 척도 +1.3점 더 높게 평가되었다.

arXiv:2606.11680v1cs.AI

정리 후 검색: 효율적인 에이전트를 위한 계층적 메모리 탐색

Organize then Retrieve: Hierarchical Memory Navigation for Efficient Agents

대규모 언어 모델(LLM) 에이전트의 장기 과제 수행 시 컨텍스트 과부하로 인한 추론 저하 문제를 해결하기 위해, 경험을 계층적 구조로 정리하고 강화학습으로 학습된 가벼운 에이전트가 최소한의 충분한 컨텍스트를 탐색하여 검색하는 HORMA를 제안한다. 해당 방법은 ALFWorld 및 LongMemEval 등의 벤치마크에서 제한된 컨텍스트 예산 하에서 성능을 향상시키며, 기존 대비 최대 22.17% 수준의 토큰만을 사용하여 효율성을 크게 개선했다.