PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.00821v5cs.AI

구조보다 충실도: 장기 대화 LLM 메모리에서 원문 청크가 손실성 아티팩트 추출을 능가한다

Fidelity Before Structure: Verbatim Chunks Beat Lossy Artifact Extraction in Long-Conversation LLM Memory

A growing class of conversational-memory systems compresses dialogue history into structured artifacts (extracted facts, decisions, or events). The premise is that distilled structure retrieves better than raw text. We test this premise with a controlled ablation. Within one fixed retrieval--rerank--reasoning pipeline, we swap only the stored representation (LLM-extracted typed artifacts versus verbatim conversation chunks) and hold the model, retriever, reranker, and judge constant. Verbatim chunks win by 15.9 points on LoCoMo (43.9% vs. 28.0%) and by 22.0 points on LongMemEval-S (67.4% vs. 45.4%). A semantic graph does not recover the gap, and six confound controls reproduce the effect. The mechanism is lossy distillation rather than structure per se. Accuracy tracks how much source text survives in the store, and the extracted-artifact pipeline does not beat naive RAG in overall accuracy (chunks do abstain worse; see Limitations). For the extraction designs we test, structured memory should augment verbatim text rather than replace it. Adding artifacts alongside chunks costs no detected accuracy, while substituting them forfeits the gap. Code and data are available at https://github.com/tao-hpu/cog-canvas.

arXiv:2609.26780v2cs.CL

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2607.23927v1cs.AI

대규모 언어 모델의 현실 모니터링: 대화 기억에 따라 변하는 자기 지식

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

대화형 AI가 자신의 출력과 사용자가 말한 내용을 구별하지 못하면, 자신의 실수를 사용자가 제공한 사실로 취급하게 된다. 인간에게 이 능력은 현실 모니터링(reality monitoring)이라 불리며, 그 실패는 환각(hallucination), 망상, 담합(confabulation)과 연관되지만, LLM이 이를 갖추고 있는지는 아직 검증되지 않았다. 여기서 우리는 두 개의 실험과 6개의 LLM에 걸쳐, 출처 귀속(source attribution)이 대화 기억이 어떻게 구조화되느냐에 따라 달라짐을 보인다. 최소한의 기억 부담 하에서 자기 생성 콘텐츠에 대한 천장 수준의 정확도는, 에피소드 지연(episodic delay)이 그 지름길을 제거하면 취약한 외부 항목 우위로 역전된다. 피드백(feedback)은 두 가지 실패를 드러낸다. 일부 모델에서는 내부 판단과 외부 판단이 뒤바뀌고, 다른 모델에서는 정확도는 향상되지만 확신(confidence)이 정확성에서 분리되어, 이러한 분리(dissociation)는 기존 벤치마크에서는 드러나지 않는다. 모델 전반에 걸쳐 이 패턴은 총합이 아닌 활성(active) 매개변수 수를 시사한다. 이는 AI 시스템이 자율적이고 다회차(multi-turn) 역할을 맡을수록, 그들이 무엇을 아는지 평가하는 것만으로는 부족하며, 그 지식이 어디에서 왔는지 추적하는 것이 동등하게 중요할 수 있음을 시사한다.

arXiv:2607.21447v1cs.CL

RUMBA: 러시아 사용자 메모리 벤치마크

RUMBA: Russian User Memory Benchmark

대규모 언어 모델(LLM)에서 장기 기억(long-term memory)을 다루는 능력은 점점 더 중요해지고 있지만, 기존 벤치마크는 여전히 영어 중심이며 집계적 검색(retrieval) 지표에 의존하여 장거리 문맥, 시간 정보, 추론 간의 상호작용을 포착하지 못한다. 이를 해결하기 위해 우리는 RUMBA(Russian User Memory BenchmArk)를 제안한다. RUMBA는 장기 대화 기억을 위한 새로운 벤치마크로, 메모리 중심 질문 유형에 대한 세밀한 분류 체계와 의미 유형, 세션 범위, 시간적 추론, 시간 표현의 명시성을 고려하는 통합 방법론을 제공한다. RUMBA는 타임스탬프가 붙은 사용자-어시스턴트 대화와 세션 간 검색, 결합, 추론을 요구하는 QA 쌍으로 구성된다. 러시아어를 위해 설계되었지만, 동일한 방법론 하에 정렬된 영어 부분집합도 제공한다. 우리는 현대적인 메모리 시스템과 장문맥 모델을 평가하고, RUMBA가 벤치마크 슬라이스 전반에 걸친 모델 동작을 분석하고 서로 다른 메모리 메커니즘의 강점과 실패 양상을 식별하는 진단 도구로 어떻게 활용되는지 보여준다.

arXiv:2607.12893v1cs.AI

MemOps: 장기 대화에서의 생명주기 메모리 연산 벤치마킹

MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations

장기 메모리는 여러 세션에 걸친 확장된 상호작용에서 사용자와 함께하는 LLM 기반 에이전트의 핵심 역량이 되었다. 그러나 기존 벤치마크는 이러한 메모리를 거의 전적으로 하류 질의응답(question answering)을 통해 평가하며, 최종 답변의 정확성만 채점한다. 이러한 블랙박스(black-box) 방식은 관련 사실의 도입을 놓치거나, 연산을 잘못된 대상에 바인딩(binding)하거나, 수정 이후 낡은 값에 의존하는 것과 같이 메모리 실패의 이질적인 원인들을 혼동한다. 그 결과 일관되지 않거나 안전하지 않은 메모리 상태에 의존함에도 불구하고 정답을 점수로 인정할 수 있다. 본 논문에서는 동적인 장기 상호작용에서 메모리는 정적인 사실의 집합이 아니라 기억, 망각, 갱신, 성찰 및 이들의 조합을 포함하는 명시적 연산의 생명주기(lifecycle)라고 주장한다. 우리는 대화 메모리를 생명주기 연산의 시퀀스로 재구성하고, 각 메모리 이벤트를 트리거(trigger), 대상(target), 범위(scope), 상태 전이(state transition), 근거(supporting evidence)를 명시하는 구조화된 추적(trace)으로 표현하는 벤치마크 MemOps를 제안한다. 제어 가능한 생성 파이프라인은 이러한 연산을 긴 과제 지향(task-oriented) 대화에 내장하고, 인접 근거(adjacent-evidence) 및 장문맥(long-context) 설정 모두에서 평가되는 6가지 범주의 연산 수준(operation-level) 프로브와 함께 골드(gold) 연산 추적을 생성한다. 장문맥, 검색 기반, 파라메트릭(parametric), 관리형(managed) 메모리 시스템 전반에 걸쳐 MemOps는 최종 답변 정확도만으로는 드러나지 않는 실패 모드를 분리해 보여 주며, 현재 시스템들이 여전히 균일하게 신뢰할 수 있는 수준에 한참 미치지 못함을 밝힌다. 예를 들어, 세션 수준(session-level) 검색은 턴 수준(turn-level) 검색보다 우수하며, 장문맥 모델은 순서가 있는 메모리 상태 궤적(trajectory)을 재구성하는 데 여전히 현저히 취약하다. 이러한 결과는 장기 메모리 평가를 최종 답변 채점에서 해석 가능한 연산 수준 진단으로 이동시킨다.

arXiv:2607.00017v2cs.IR

Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory

장기 대화 에이전트의 메모리 검색에서 쿼리 유사도 위주의 고정된 랭킹 방식이 사용자별 맥락을 반영하지 못하는 문제를 해결하기 위해, PPRO(Profile-guided Personalized Retrieval Optimization)는 대화 이력에서 에피소드·시맨틱 메모리 뱅크와 사용자 프로필을 구축하고, 프로필 임베딩을 검색 스코어링에 직접 주입하는 개인화 사전(prior)으로 활용한다. 또한 Group Relative Policy Optimization 기반 쿼리 리라이터를 학습시켜 증거 검색 품질과 최종 답변 품질을 모두 보상으로 활용하며, LoCoMo와 LongMemEval-S 벤치마크에서 학습 불필요 및 학습 기반 베이스라인 대비 일관된 성능 향상을 달성했다.

arXiv:2607.00339v1cs.CL

TRACE: State-Aware Query Processing over Temporal Evidence Graphs for Conversational Data

대화가 지속되면서 계획이 바뀌고 정보가 충돌하는 환경에서 발생하는 장기 대화 질의응답(QA) 문제를 해결하기 위해, TRACE는 이벤트·세션·토픽을 계층적으로 연결하고 유효성 주석을 유지하는 시간적 증거 그래프(temporal evidence graph) 위에서 벡터 검색과 그래프 탐색을 결합한 질의 처리 프레임워크를 제안한다. 장기 대화 QA 벤치마크 실험에서 TRACE는 시간적 추론 및 멀티홉(multi-hop) 추론 성능을 개선하며, 계층 구조·업데이트 인식 시드 선택·경로 기반 증거의 중요성을 절제 실험을 통해 확인한다.

arXiv:2606.26753v1cs.CL

ConvMemory v3: 목표 조건 관계 검증을 통한 대화형 메모리의 유효성 컨텍스트 층

ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification

대화형 메모리 검색에서 관련성은 있지만 이후 턴에 의해 갱신·수정·대체된 메모리를 구분하기 위해 ConvMemory v3는 v1/v2 검색 경로 뒤에 목표 조건 관계 검증 기반 유효성 컨텍스트 층을 둔다. MiniLM과 DeBERTa-v3 슬롯 헤드의 이중 근거 게이트는 합성 다중 홉 벤치마크에서 90.12% 정확도를, Memora 역할 바인딩 전이에서는 98.8% group-all-correct를 달성하며, opt-in 강등 모드는 current-active H@1을 45.1%에서 95.7%로 높이면서 비대체 메모리 재현율 99.4%를 유지한다.