다중 에이전트 메모리의 불일치: LLM 에이전트에서 사실 간 충돌이 사라지는 지점
Multi-Agent Memory Inconsistency: Where Factual Conflicts Disappear in LLM Agents
한국어 초록
다중 에이전트 위임으로 대규모 언어 모델(LLM) 시스템은 서로 다른 문맥을 가진 작업자에게 근거 수집을 나눠 맡길 수 있다. 이로 인해 일관성 문제가 생긴다. 작업자가 찾은 사실이 공동 결론을 내리는 책임 에이전트에게 전달된 근거에는 빠져 있을 수 있다. Harvey LAB의 문서 검토 과제에 통제된 사실 충돌을 넣고, 다중 에이전트 메모리 불일치를 살피는 벤치마크와 근거 흐름 분석기를 소개한다. 생성 비용이 비슷한 모델 세 개의 결과를 합치면, 위임을 요구한 경우 단일 에이전트보다 충돌하는 주장 둘을 모두 검색한 비율이 50.2%에서 68.7%로 올랐다. 그러나 충돌 탐지율은 16.2%에서 13.2%로 낮아졌다. 이 설정에서 작업자는 검색된 주장 쌍 가운데 35.2%에서만 두 주장을 모두 보고했다. 조건을 맞춰 비교한 결과, 작업자 한 명이 두 주장을 모두 읽으면 단일 에이전트보다 탐지율이 높았다. 두 주장을 서로 다른 작업자가 읽으면 탐지율이 낮았다. 다중 에이전트 LLM에서 충돌 탐지를 개선하려면 작업자가 책임 에이전트에게 근거를 전달하는 과정에 주목해야 한다.
원문 초록
Multi-agent delegation lets LLM systems distribute evidence collection across workers with separate contexts. This creates a consistency challenge: facts retrieved by workers may be missing from the evidence available to the lead for a joint conclusion. We introduce a benchmark and evidence-flow profiler for studying multi-agent memory inconsistency through controlled factual conflicts in Harvey LAB document-review tasks. Pooled across three models with comparable generation spending, requiring delegation increases retrieval of both conflicting claims from 50.2% to 68.7% relative to single-agent execution, yet conflict detection falls from 16.2% to 13.2%. Within this setting, workers report both claims for only 35.2% of retrieved pairs, and pooled matched comparisons show higher detection than single-agent execution when one worker reads both claims but lower detection when the claims are split across workers. Worker-to-lead handoffs are a central target for improving conflict detection in multi-agent LLMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22245v2제출 시각 미확인
- arXiv:2611.22245v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.