arXiv:1605.07427

Hierarchical Memory Networks

Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

제출 2016-05-24

원문 초록

Memory networks are neural networks with an explicit memory component that can be both read and written to by the network. The memory is often addressed in a soft way using a softmax function, making end-to-end training with backpropagation possible. However, this is not computationally scalable for applications which require the network to read from extremely large memories. On the other hand, it is well known that hard attention mechanisms based on reinforcement learning are challenging to train successfully. In this paper, we explore a form of hierarchical memory network, which can be considered as a hybrid between hard and soft attention memory networks. The memory is organized in a hierarchical structure such that reading from it is done with less computation than soft attention over a flat memory, while also being easier to train than hard attention over a flat memory. Specifically, we propose to incorporate Maximum Inner Product Search (MIPS) in the training and inference procedures for our hierarchical memory network. We explore the use of various state-of-the art approximate MIPS techniques and report results on SimpleQuestions, a challenging large scale factoid question answering task.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26780v2cs.CL공통 태그 Question Answering, Reinforcement Learning

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2609.27987v1cs.LG공통 태그 Question Answering, Reinforcement Learning

PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧

PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue

대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.

arXiv:2609.27035v1cs.AI공통 태그 Question Answering, Reinforcement Learning

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2609.24290v1cs.AI공통 태그 Question Answering, Reinforcement Learning

에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습

When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain

명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.

arXiv:2607.23955v1cs.AI공통 태그 Question Answering, Reinforcement Learning

EviBack: 증거 제약 Teacher Backoff를 통한 검색 에이전트 강화학습

EviBack: Search-Agent Reinforcement Learning via Evidence-Constrained Teacher Backoff

강화학습은 Agentic RAG 시스템이 검증 가능한 결과 보상으로부터 다중 턴 검색을 학습할 수 있게 하지만, 보상이 모두 0인 롤아웃 그룹은 비교 신호를 제공하지 않으며 유용한 검색 행동을 가릴 수 있다. 우리는 EviBack을 제안한다. 이는 검증 가능한 Actor 보상을 유지하면서 그러한 그룹에 보조 지도를 제공하는 증거 제약 Teacher backoff이다. 이는 증거 평가와 답변 정제를 분리하여, 참조 답변이 증거 부족 판단을 덮어쓰지 않도록 한다. 완전 자동화된 종단간 GPT-5.5 보조 APE 파이프라인은 수동으로 작성된 단일 프롬프트 이중 과제 Teacher에서 시작하여, 롤아웃 데이터를 자동으로 분할·라벨링하고, ablation, 과제 분해, 평가, 선택을 수행하여 게이트된 2단계 Teacher를 생성한다. 수동 설계와 비교하면, 결과 Teacher는 검색, 중복 쿼리, 강제 종료를 줄이면서 하류 F1과 유효 답변율을 향상시킨다. 7개의 개방형 QA 벤치마크와 세 가지 Qwen3 규모에서 EviBack은 Search-R1 대비 F1을 향상시키며 single-hop 및 multi-hop macro F1을 모두 높인다. 코드는 추후 공개될 것임을 보장한다.

arXiv:2607.24097v1cs.AI공통 태그 Question Answering, Reinforcement Learning

MemChain: 메모리 증강 LLM 에이전트를 위한 해석 가능한 메모리 추적 학습

MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents

메모리 증강 LLM 에이전트는 일반적으로 관련 메모리를 검색하여 답변 모델에 직접 전달함으로써 쿼리에 답한다. 이 검색-근거(retrieval-as-evidence) 패러다임은 검색된 메모리가 이미 추론에 적합하다고 가정하며, 답변 모델이 중복성, 충돌, 낮은 관련성을 해결해야 하고 장기 메모리 작업에서 상당한 컨텍스트 오버헤드를 발생시킨다. 우리는 MemChain을 제안한다. 이는 검색 후(post-retrieval) 학습 가능한 메모리 정책으로, 검색된 후보를 답변 지향적 활성 메모리로 변환하며, 이는 간결하고 그라운딩된(grounded) 근거 컨텍스트로 표현된다. 사용자 쿼리와 검색된 후보가 주어지면, MemChain은 먼저 질문 조건부 근거 계획을 생성하고, 다음으로 의미적 역할과 의존성에 따라 검색된 메모리를 구성하는 순서화된 그라운딩된 근거 추적(trace)을 구축하며, 마지막으로 명시적 메모리 액션을 실행하여 답변 생성을 위한 간결한 근거 컨텍스트를 생성한다. 중재자(mediator)를 학습하기 위해, 우리는 2단계 학습 프레임워크를 도입한다. 지도 학습 기반 추적(trace) 학습은 먼저 정책이 구조적으로 유효한 계획, 추적, 액션, 근거 컨텍스트를 생성하도록 가르친다. 그다음 우리는 Trace-Guided Memory Policy Optimization(TMPO)을 제안한다. 이는 하류 답변 품질을 사용하여 메모리 정책을 최적화하는 강화학습(reinforcement learning) 목적 함수로, 여러 롤아웃에 걸쳐 추적 그라운딩, 근거 지원, 구조적 유효성, 답변 안정성을 공동으로 장려한다. LoCoMo 및 LongMemEval-S에서의 실험은 MemChain이 폐쇄형 및 오픈 가중치(open-weight) 고정 답변 모델 모두에서 일관되게 최첨단(state-of-the-art) 성능을 달성하면서, 답변 모델에 전달되는 메모리 컨텍스트를 상당히 줄인다는 것을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.