PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12385v1cs.AI

PM-Bench: LLM 에이전트의 전향적 기억(Prospective Memory) 평가

PM-Bench: Evaluating Prospective Memory in LLM Agents

에이전트형 AI에서 중요한 도전 과제는 전향적 기억(prospective memory)이다. 이는 다른 활동이 진행 중인 동안 특정 미래 단서나 상태에서 의도를 실행하는 능력이다. 우리는 현대 LLM 에이전트의 전향적 기억 능력을 측정하기 위한 텍스트 기반 벤치마크인 PM-Bench를 제안한다. 인지 과학의 Virtual Week 패러다임에서 영감을 받아, PM-Bench는 LLM 에이전트가 사용자 의도를 유지하고, 지연된 의도를 실행하며, 잠재적 환경 변화를 모니터링하는 능력을 얼마나 잘 수행하는지 평가한다. 시뮬레이션된 7일간의 한 주 동안, 에이전트는 진행 중인 활동을 계속하면서 연기된 작업이 실행 시점에 도달했는지 판단해야 한다. 우리는 8가지 서로 다른 에이전트 구성에서 PM-Bench에 대해 8개의 최신 LLM을 비교한다. PM-Bench는 모든 설정에서 어려운 과제로 드러난다. 최고의 방법인 GPT-5.4 에이전트조차도 우리 평가에서 F1 점수 65.1%에 불과하다. 또한 전향적 기억을 개선하기 위한 단일 전략이 모든 모델에서 지배적이지 않다. 우리는 이러한 실패를 진단하고 신뢰할 수 있는 전향적 행동을 지원하는 학습 또는 추론 시점 개입을 개발하기 위한 통제된 테스트베드로서 PM-Bench를 공개한다.

arXiv:2606.23459v1cs.CL

TriggerBench: 대규모 언어 모델의 전향 기억 조사

TriggerBench: Investigating Prospective Memory for Large Language Models

TriggerBench는 명시적 질의 없이 잠재적 제약을 자발적으로 기억하고 행동에 반영하는 전향 기억(PM)을 측정하기 위해 일상 어시스턴트와 전문 업무 흐름의 다섯 차원을 아우르는 벤치마크를 제안한다. 평가 결과 PM은 소급 기억(RM)보다 현저히 어렵고 문맥 길이가 길어질수록 급격히 저하되며, 추론 강화는 선행적 재현율을 높이지만 오경보와 주의적 취약성을 드러내고, 동일 문맥 길이에서 여분의 추론 예산을 행동적으로 탐지하는 지표로도 작동함을 보인다.

arXiv:2603.24576v2cs.RO

Chameleon: 시각운동 조작을 위한 제어-인덱스 전향적 기억

Chameleon: Control-Indexed Prospective Memory for Visuomotor Manipulation

로봇은 미래 행동을 결정하는 정보를 그 행동이 실행되기 훨씬 전에 종종 관측한다. 예를 들어 쉘 게임(shell game)에서 로봇은 먼저 공이 숨겨진 컵을 보고, 컵들이 움직이는 것을 지켜본 뒤, 나중에야 올바른 컵을 선택해야 한다. 최종 관측만으로는 결정에 충분하지 않다. 올바른 행동은 더 이른 시점의 사건에 달려 있다. 이 시간적 간극을 관측-행동 지연(observation-action delay)이라 부른다. 이는 기억을 정책(policy)이 직면하는 문제로 만든다. 정책은 유사한 이력을 구별 가능하게 유지하고, 현재 결정과 관련된 과거 사건을 검색하며, 그 회상을 행동 준비 상태(action-ready state)로 변환해야 한다. 이러한 요구사항을 분리 가능성(separability), 주소 지정 가능성(addressability), 전향성(prospectiveness)이라 부른다. 제어-인덱스 전향적 기억(prospective memory)을 위한 약 6천만 파라미터 규모의 시각운동(visuomotor) 정책인 Chameleon을 제안한다. Chameleon은 체화된(embodied) 사건 기억을 기록하고, 분리 가능한 이력을 보존하며, 제어와 관련된 흔적(trace)을 검색하고, 그 결과로 얻어지는 작업 상태(working state)가 전향적이 되도록 학습한다. 또한 Camo-Dataset을 제안한다. 이는 결정 장면을 시각적으로 모호하게 만들어 관측-행동 지연을 격리하는 실로봇 벤치마크로, 올바른 행동은 더 이른 관측에서 추론해야 한다. Chameleon은 Camo-Dataset에서 결정/종단간(end-to-end) 성공률을 22.5%/21.3%에서 80.8%/71.3%로 향상시킨다. 공개 장기 기억 벤치마크에서 LIBERO-10에서 87.1% ± 0.8%, MemoryBench에서 97.3% ± 4.5%, MIKASA-Robo에서 75.1% ± 1.4%를 달성하여, 동일 규모 모델 중 최고 성능을 기록하고 보고된 프로토콜 하에서 여러 더 큰 VLA(vision-language-action) 베이스라인을 능가한다. 프로브(probe)와 ablation 연구는 Chameleon이 분리 가능하고 주소 지정 가능하며 전향적인 기억을 학습하며, 이러한 특성이 성능 향상을 이끈다는 것을 보여준다.