팬텀 병합: 대규모 언어 모델 에이전트가 하나를 선택하고 다른 대상에 대해 설명할 때
Phantom Merge: When Your Large Language Model Agents Pick One but Tell You About Another
한국어 초록
대규모 언어 모델(LLM) 에이전트가 여러 엔티티를 다루는 작업이 점차 늘어남에 따라, 신뢰할 수 있는 응답을 생성하기 위해서는 관련 근거를 검색하는 것뿐만 아니라 올바른 엔티티와의 연관성을 보존하는 것이 필요합니다. 본 논문에서는 작업이 올바르게 완료된 경우에도 에이전트가 자신이 확정한 엔티티에 뒷받침되지 않는 주장을 귀속시키는 엔티티-근거 결합 오류인 팬텀 병합(Phantom Merge, PM)을 규명합니다. 저자들은 PM을 주장 단위에서 정형화하고 4개의 에이전트 도메인과 4개의 백본 패밀리 전반에서 그 유병률과 오류 하위 유형을 특성화합니다. 이 문제를 해결하기 위해, 주장 단위 위험 추정 및 교정을 위한 2단계 프레임워크를 제안합니다. 첫째, 앵커 기반 위험(Anchor-Grounded Risk, AGR)은 에이전트의 방출 전 은닉 상태의 표현 판독값과 야코비안(Jacobian) 기반 기능 정보를 결합하여 상호 보완적인 슬롯 단위 및 앵커 값 위험 점수를 제공합니다. 둘째, 고정 앵커 교정(Fixed-Anchor Correction, FAC)은 플래그가 지정된 주장을 감사하고 관찰된 앵커 근거를 사용하여 선택적으로 수정하거나, 뒷받침되는 대체물이 없는 경우 제거합니다. 홀드아웃된 Shopping 탐지 코호트에서 AGR-slot은 96.2%의 AUROC와 97.3%의 평균 정밀도를 달성하여 평가된 탐지 베이스라인을 능가했습니다. 엔드투엔드 Shopping 완화 평가에서 FAC는 궤적 단위 PM을 51.4%에서 6.2%로 감소시켰으며, 원본 대비 출력 주장 비율은 80.7%를 기록했습니다. 이러한 결과는 엔티티별 그라운딩(grounding) 실패의 보편성과 내부 위험 추정과 근거 제약 주장 교정을 결합하는 방식의 효과성을 입증합니다. 본 연구의 코드는 https://github.com/LabRAI/PhantomMerge 에서 공개되어 있습니다.
원문 초록
LLM agents increasingly operate over multiple entities, where reliable response generation requires not only retrieving relevant evidence but also preserving its association with the correct entity. We identify Phantom Merge (PM), an entity-evidence binding failure in which an agent attributes unsupported claims to its committed entity, potentially even when the task is completed correctly. We formalize PM at the claim level and characterize its prevalence and error subtypes across four agent domains and four backbone families. To address this problem, we propose a two-stage framework for claim-level risk estimation and correction. First, Anchor-Grounded Risk (AGR) combines a representational readout of the agent's pre-emission hidden state with Jacobian-based functional information, providing complementary slot-level and anchor-value risk scores. Second, Fixed-Anchor Correction (FAC) audits flagged claims and selectively revises them using observed anchor evidence or removes them when no supported replacement is available. On the held-out Shopping detection cohort, AGR-slot achieves an AUROC of 96.2% and an average precision of 97.3%, outperforming the evaluated detection baselines. In the end-to-end Shopping mitigation evaluation, FAC reduces trajectory-level PM from 51.4% to 6.2%, with an output-to-original claim ratio of 80.7%. These results demonstrate the prevalence of entity-specific grounding failures and the effectiveness of combining internal risk estimation with evidence-constrained claim correction. Our code is publicly available at https://github.com/LabRAI/PhantomMerge.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.