효율적인 에이전트 메모리 지각을 위한 어텐션으로서의 해상도
Resolution as Attention for Efficient Agent Memory Perception
한국어 초록
LLM 기반 에이전트는 복잡한 장기 과제를 해결하면서 방대한 상호작용 이력을 축적하므로, 효율적인 메모리 관리는 에이전트의 성능과 확장성에 매우 중요하다. 기존의 메모리 관리 방법은 주로 무엇을 보존하거나 검색할지에 초점을 맞추지만, 각 과거 상호작용에 얼마나 많은 지각적 세부 정보를 할당해야 하는지는 간과하는 경우가 많다. 본 논문은 효과적인 에이전트 메모리가 보존된 정보뿐 아니라 각 과거 상호작용을 지각하는 세분성에도 달려 있다고 주장한다. 이러한 통찰에 따라 시각적 해상도를 상호작용 이력 전반에 대한 어텐션 할당 수단으로 사용하는 메모리 지각 메커니즘인 Resolution as Attention(RAA)을 제안한다. RAA는 과거 상호작용을 이미지로 렌더링하고, 에이전트의 다음 결정과의 관련성에 따라 매 단계에서 해상도를 동적으로 조정하여, 중요한 상호작용에는 세밀한 정보를 보존하고 관련성이 낮은 상호작용에는 시각 토큰 소비를 줄인다. 각 상호작용의 지각 충실도를 적응적으로 결정하기 위해, 교사 모델의 지도 하에 경량 관련성 추정기를 학습시키고, 더 낮은 시각 토큰 비용에서 에이전트의 결정 일관성을 유지하도록 이를 추가로 최적화한다. 여러 과제와 백본에 걸친 실험에서 RAA는 과제 성능을 해치지 않으면서 토큰 소비를 50% 이상 줄이는 것으로 나타났다. 더 나아가 RAA는 기존 메모리 관리 방법에 플러그인 지각 계층으로 통합될 수 있어 추가적인 토큰 절감을 얻으며, 적응적 지각이 에이전트 메모리의 상보적인 차원임을 보여 준다.
원문 초록
LLM-based agents accumulate extensive interaction histories when solving complex, long-horizon tasks, making efficient memory management critical to their performance and scalability. While existing memory management methods primarily focus on what to retain or retrieve, they often overlook how much perceptual detail should be allocated to individual past interactions. We posit that effective agent memory depends not only on the information preserved, but also on the granularity at which each past interaction is perceived. Motivated by this insight, we propose Resolution as Attention (RAA), a memory perception mechanism that uses visual resolution as a means of attention allocation across interaction histories. RAA renders past interactions as images and dynamically adjusts their resolution at every step according to their relevance to the agent's upcoming decision, preserving fine-grained information for critical interactions while reducing visual-token consumption for less relevant ones. To adaptively determine the perceptual fidelity of each interaction, we train a lightweight relevance estimator with teacher-model guidance and further optimize it to preserve the agent's decision consistency at a reduced visual-token cost. Experiments across multiple tasks and backbones show that RAA reduces token consumption by over 50% without compromising task performance. Moreover, RAA can be integrated as a plug-in perception layer with existing memory management methods, yielding further token savings and revealing adaptive perception as a complementary dimension of agent memory.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24422v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.