arXiv:2610.03519v1 cs.AI

추론 모델은 식별 가능성 판단에서 정확하지만 건전하지 못하다

Reasoning Models Are Accurate but Unsound on Identification

Arman Behnam, Binghui Wang

제출 2026-10-02

한국어 초록

관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.

원문 초록

A reasoning model asked whether a causal effect is recoverable from observational data can fail in two ways: it refuses an identifiable query or answers a nonidentifiable one. The latter is more consequential, as no observational data can validate the claimed formula. Measuring this failure requires queries that are provably non-identifiable, which prior evaluations lack, and grading that accepts correct formulas in any equivalent form, which string matching cannot provide. We build CERTID, a formal identification pipeline that addresses both limitations. CERTID uses the sound and complete causal identification algorithm ID to certify whether an effect is identifiable from a given graph and query, and verifies returned formulas against structural causal models whose interventional distributions are known exactly. CERTID further develops theoretical results to mitigate structural leakage, repair non-identifiable queries, and establish grading guarantees. We evaluate three frontier reasoning models (Gemini Flash, Gemini Pro, and GPT5.5) on 1,200 certified instances spanning 4 to 50 vertices. Accuracy proves a poor proxy for soundness: on identical instances, the false-claim rate on non-identifiable queries varies by seventeen-fold across models. We also find that models decide identifiability with 97-100% accuracy on graphs generated after the strongest model's training snapshot. Instances, the certification procedure, the verifier, and per-instance records are available at https://anonymous.4open.science/r/certid-D718.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03519v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13465v1cs.CV공통 태그 Benchmarking, Hallucination

멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습

When MLLMs miss what humans read: diagnosing and learning to read squint text

멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.

arXiv:2610.13570v1cs.AI공통 태그 Benchmarking, reasoning models

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2610.13626v1cs.SE공통 태그 Benchmarking, Hallucination

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2609.30979v2cs.CV공통 태그 Causal Inference, Benchmarking

CCRV-Bench: 비전-언어 모델의 인과적 추론에 대한 제약 기반 평가

CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models

비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.

arXiv:2610.01045v2cs.AI공통 태그 Benchmarking, Hallucination

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.