당신의 딥 리서치 에이전트는 왜 실패하는가? 전체 연구 궤적에서의 환각 평가 연구
Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory
한국어 초록
심층 연구 에이전트(Deep Research Agent, DRA)의 실패 패턴을 진단하는 것은 여전히 중요한 과제입니다. 기존 벤치마크는 주로 엔드투엔드(end-to-end) 평가에 의존하여, 연구 궤적 전반에 걸쳐 누적되는 중간 환각(hallucination)을 가립니다. 이러한 격차를 해소하기 위해, 본 연구에서는 전체 '계획-검색-요약(plan-search-summarize)' 궤적의 환각을 감사함으로써 결과 기반 평가에서 프로세스 인식 평가로의 전환을 제안합니다. 본 논문에서는 DRA 환각을 전파(Propagation), 의도(Intent), 노이즈 유발(Noise-induced), 그라운딩(Grounding)의 네 가지 상호 보완적인 유형으로 분류하는 PING 분류 체계(PING Taxonomy)를 소개합니다. 나아가 이 분류 체계를 엄격한 검증을 위해 궤적을 원자적 행동, 주장 및 하위 쿼리로 분해하는 세분화된 평가 프레임워크로 구체화하고, 표준 사실 확인 벤치마크 및 사람이 검토한 궤적에서 그 신뢰성을 검증합니다. 이 프레임워크를 활용하여 적대적 시나리오를 포함한 100개의 환각 유발 과제를 선별하고 DeepHalluBench를 구축했습니다. 대표적인 6개의 DRA에 대한 실험 결과, 환각이 발생하기 쉬운 스트레스 테스트 세트에서 평가된 모든 시스템이 여전히 무시할 수 없는 신뢰성 격차를 보이는 것으로 나타났습니다. 또한 진단 분석을 통해 이러한 실패가 시스템적 결함, 특히 환각 전파 및 인지 편향에 기인함을 추적하여 향후 아키텍처 최적화(optimization)를 위한 실행 가능한 통찰을 제공합니다. 코드와 데이터는 https://github.com/yuhao-zhan/DeepHalluBench 에서 확인할 수 있습니다.
원문 초록
Diagnosing failure patterns in Deep Research Agents (DRAs) remains a critical challenge. Existing benchmarks predominantly rely on end-to-end evaluation, obscuring intermediate hallucinations that accumulate throughout the research trajectory. To bridge this gap, we propose a shift from outcome-based to process-aware evaluation by auditing hallucinations in the full plan-search-summarize trajectory. We introduce the PING Taxonomy, which categorizes DRA hallucinations into four complementary types: Propagation, Intent, Noise-induced, and Grounding. We further instantiate this taxonomy into a fine-grained evaluation framework that decomposes trajectories into atomic actions, claims, and sub-queries for rigorous verification, and we validate its reliability on standard fact-checking benchmarks and human-reviewed trajectories. Leveraging this framework to isolate 100 hallucination-prone tasks, including adversarial scenarios, we curate DeepHalluBench. Experiments on six representative DRAs show that, on our hallucination-prone stress-test set, all evaluated systems still exhibit non-negligible reliability gaps. Furthermore, our diagnostic analysis traces these failures to systemic deficits, especially hallucination propagation and cognitive biases, providing actionable insights for future architectural optimization. Code and data are available at https://github.com/yuhao-zhan/DeepHalluBench.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습
When MLLMs miss what humans read: diagnosing and learning to read squint text
멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.
공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때
Empty Commitments: When Agents Promise What They Cannot Deliver
"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.
인용이 오도할 때? 법률 환각 탐지를 위한 주장 수준의 벤치마크
When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
추론 모델은 식별 가능성 판단에서 정확하지만 건전하지 못하다
Reasoning Models Are Accurate but Unsound on Identification
관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.