arXiv:2606.18557v1 cs.AI

DeFAb: 파운데이션 모델에서의 번복 가능한 가역(Defeasible Abduction)을 위한 검증 가능한 벤치마크

DeFAb: A Verifiable Benchmark for Defeasible Abduction in Foundation Models

Patrick Cooper, Alvaro Velasquez

제출 2026-06-17

한국어 초록

규칙 기반 논리 솔버는 100% 정확도로 50마이크로초 이내에 우리 벤치마크의 모든 인스턴스를 해결합니다. 반면 최첨단 언어 모델은 최대 65%에 달하지만 렌더링 강건 평가(rendering-robust evaluation, 네 가지 표면 렌더링 중 최악의 경우)에서는 23.5%로 떨어집니다. 우리는 DeFAb(Defeasible Abduction Benchmark)를 소개합니다. 이는 40년간의 공적 자금 지원 지식 베이스를 번복 가능한 가역(Defeasible Abduction)을 위한 형식적으로 기반한 인스턴스로 변환하는 데이터셋 및 생성 파이프라인입니다. 번복 가능한 가역이란 무관한 기대를 보존하면서 기본값(defaults)을 무시하여 변칙 현상을 설명하는 가설을 구성하는 것입니다. 모든 가설은 유효한 도출, 보수성(conservativity), 최소성(minimality)에 대한 다항 시간 검사를 통과해야 하므로, DeFAb는 논리적 엄밀함을 창의성과 이론적 추론을 측정하는 도구로 만듭니다. 즉, 유창하지만 이론을 파괴하는 산문이 아니라 이론 수정의 규율 있는 구성을 점수화합니다. 이 파이프라인은 분류 체계(taxonomic hierarchies, OpenCyc, YAGO, Wikidata)와 행동 속성 그래프(behavioral property graphs, ConceptNet, UMLS)를 결합하여 18개 소스의 3375만 개 구체화된 규칙(materialized rules)에 걸쳐 372,648개 이상의 인스턴스를 생성하며, 다항 시간 검증 가능한 골드 스탠다드를 포함하는 세 가지 수준으로 구성됩니다. 4개의 최첨단 모델은 번복 가능한 추론(defeasible reasoning)을 안정적으로 내면화하지 못합니다. 렌더링 강건 평가 레벨 2 정확도는 7.8-23.5%이며, 사고의 연쇄(Chain-of-Thought) 분산(~36pp)은 모델 간 격차보다 큽니다. 또한 일치된 오염 통제(matched contamination control)는 +19.4pp의 레벨 3 격차를 분리해 냅니다. 또한 DeFAb-Hard(235개 인스턴스의 레벨 3 난이도 변형; 최상위 모델 53.3% 대 기호적(symbolic) 100%)과 CONJURE(증명 커널(proof kernel)이 이전에 포함하지 않았던 정의를 정답으로 하는 560개 Lean 4/Mathlib 인스턴스의 커널 검증(kernel-verified) 변혁적 창의성(transformative-creativity) 변형; 판사 없는 검증기(judge-free verifier); 파일럿에서 새로운 개념 0개 발견)을 공개합니다. 동일한 검증기는 선호도 최적화(preference optimization, DPO, RLVR/GRPO)를 위한 정확한 보상(reward)으로도 사용됩니다. MIT 라이선스 하에 https://huggingface.co/datasets/PatrickAllenCooper/DeFAb에서 공개되었습니다.

원문 초록

A rule-based logic solver resolves every instance in our benchmark in under 50 microseconds with 100% accuracy; the best frontier language model reaches 65% at best and drops to 23.5% under rendering-robust evaluation (worst case over four surface renderings). We introduce DeFAb (Defeasible Abduction Benchmark), a dataset and generation pipeline that converts four decades of publicly funded knowledge bases into formally grounded instances for defeasible abduction: constructing hypotheses that explain anomalies by overriding defaults while preserving unrelated expectations. Because every hypothesis must pass polynomial-time checks for valid derivation, conservativity, and minimality, DeFAb makes logical rigor the instrument for measuring creativity and theoretical reasoning, scoring the disciplined construction of theory revisions rather than fluent but theory-destroying prose. The pipeline pairs taxonomic hierarchies (OpenCyc, YAGO, Wikidata) with behavioral property graphs (ConceptNet, UMLS) to produce 372,648+ instances across 33.75M materialized rules from 18 sources, in three levels with polynomial-time verifiable gold standards. Four frontier models do not reliably internalize defeasible reasoning: rendering-robust Level 2 accuracy is 7.8-23.5%; chain-of-thought variance (~36 pp) exceeds any inter-model gap; and a matched contamination control isolates a +19.4 pp Level 3 gap. We further release DeFAb-Hard (a 235-instance Level 3 difficulty variant; best model 53.3% vs 100% symbolic) and CONJURE (a kernel-verified transformative-creativity variant of 560 Lean 4/Mathlib instances whose gold answers are definitions the proof kernel did not previously contain, judge-free verifier; a pilot finds zero novel concepts). The same verifier doubles as an exact reward for preference optimization (DPO, RLVR/GRPO). Released under MIT at https://huggingface.co/datasets/PatrickAllenCooper/DeFAb.

요약

DeFAb(Defeasible Abduction Benchmark)는 40년간 축적된 공공 지식 베이스를 번복 가능한 가역(defeasible abduction) 과제로 변환하는 검증 가능한 벤치마크로, 기본값을 선택적으로 무시해 변칙을 설명하는 가설의 유효 도출·보수성·최소성을 다항 시간 검증기로 채점한다. 규칙 기반 솔버는 100% 정확도로 50마이크로초 이내에 모든 인스턴스를 풀지만, 최첨단 파운데이션 모델은 렌더링 강건 평가에서 7.8–23.5%에 그치며 번복 가능한 추론을 안정적으로 수행하지 못함을 보여준다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18557v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13948v1cs.AI공통 태그 Knowledge Graphs, Benchmarking, Large Language Model

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.02488v2cs.LG공통 태그 Benchmarking, Math, Large Language Model

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

arXiv:2610.13672v2cs.CL공통 태그 Math, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.