arXiv:2610.07751v1 cs.AI

LLM은 노이즈가 있는 증거를 바탕으로 얼마나 잘 추론하는가? 능동적 시각 추론 벤치마크

How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark

Bach Nguyen, Zhaonan Li, Mau Son Nguyen, Sanika Chavan, Nilay Kumar, Hong Anh Nguyen, Khoa Vo, Ben Zhou

제출 2026-10-06

저자 비고

arXiv Comments

27 pages, 9 figures, 11 tables

한국어 초록

현실 세계의 추론은 정적인 질의응답으로 귀결되는 경우가 드뭅니다. 에이전트는 흔히 노이즈가 있고 신뢰할 수 없는 도구 및 센서로부터 능동적으로 정보를 수집해야 합니다. 그러나 기존의 대다수 능동적 추론 벤치마크는 환경적 피드백이 신뢰할 수 있다고 가정하거나, 명시적이고 보정된 불확실성 신호를 드러내지 않은 채 노이즈를 도입하여 증거 자체가 불확실할 때 대규모 언어 모델(LLM)이 어떻게 추론해야 하는지에 대한 문제를 미해결 상태로 남겨둡니다. 본 논문에서는 노이즈가 있는 시각적 피드백 하에서의 능동적 추론을 위한 새로운 벤치마크인 VisualNoiseQA를 소개합니다. 텍스트 전용 LLM은 확률적 시각 센서로 간주되는 고정된 기성 VLM에 반복적으로 질의하여 VQA 문제를 해결해야 합니다. 각 질의마다 여러 샘플을 추출하고 자기 일관성(self-consistency)을 통해 경험적 불확실성 신호를 노출함으로써, 추론기가 다양한 각도에서 탐색하고 다음에 무엇을 질문할지 및 언제 멈출지 결정할 수 있도록 합니다. 본 연구의 구축 방식은 자동화되어 있으며 확장 가능합니다. 다양한 VQA 소스와 두 개의 노이즈가 있는 VLM에서 출발하여, 센서의 일관성이 없으면서도 인간이 해결 가능한 질문만을 선별합니다. 지각, 차트 이해, 지식 집약적 추론에 걸친 1,000개의 인스턴스에서 여러 LLM 추론기를 평가합니다. 이를 통해 VisualNoiseQA는 서로 다른 LLM이 강건한 추론을 위해 불확실성 신호를 어떻게 활용하는지 연구할 수 있는 통제된 실험 환경을 제공합니다.

원문 초록

Real-world reasoning rarely reduces to static question answering: agents must actively gather information from tools and sensors that are often noisy and unreliable. Yet most existing active reasoning benchmarks assume that environmental feedback is trustworthy, or introduce noise without exposing an explicit, calibrated uncertainty signal, leaving open how LLMs should reason when the evidence itself is uncertain. We introduce VisualNoiseQA, a novel benchmark for active reasoning under noisy visual feedback. A text-only LLM must solve VQA problems by iteratively querying a fixed, off-the-shelf VLM treated as a stochastic visual sensor. For each query, we draw multiple samples and expose an empirical uncertainty signal via self-consistency, enabling the reasoner to probe from different angles and decide what to ask next and when to stop. Our construction is automatic and scalable: starting from diverse VQA sources and two noisy VLMs, we retain only questions where the sensor is inconsistent yet human-solvable. We evaluate multiple LLM reasoners on 1,000 instances spanning perception, chart understanding, and knowledge-intensive reasoning. VisualNoiseQA thus provides a controlled playground to study how different LLMs exploit uncertainty signals for robust reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07751v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.